diffúziós modell
angolul: diffusion model
Olyan MI-modell, amely véletlenszerű zajból indul, és azt lépésről lépésre tisztítva hoz létre új képet, videót vagy hangot.
Érthetően
Képzeld el, hogy egy fényképre újra meg újra homokot szórsz, míg végül semmi sem látszik belőle. A diffúziós modell ennek a fordítottját tanulja meg: hogyan lehet a homokot rétegenként lesöpörni úgy, hogy a végén értelmes kép maradjon. Amikor már jól megy neki, tiszta „homokból” is tud képet előhívni, olyat is, amilyen korábban nem létezett.
Ez a technika áll sok mai képgenerátor és a legtöbb videógenerátor mögött, és a zene- meg hanggenerálásban is használják. Amikor beírod, hogy „vízfestmény egy balatoni vitorlásról”, a szöveged irányítja a tisztítást: a modell minden lépésben olyan irányba javít a zajon, hogy az eredmény egyre jobban illjen a leírásodhoz.
Másképp dolgozik, mint a szöveges csevegőrobotok mögötti nyelvi modellek. Azok szóról szóra haladva írják a választ, a diffúziós modell viszont az egész képet egyszerre finomítja, a homályos folttól a részletekig.
Hogyan működik
- Tanítás, első fele: a rendszer rengeteg valódi képet vesz, és mindegyikhez fokozatosan egyre több véletlenszerű zajt kever, amíg a kép teljesen el nem tűnik.
- Tanítás, második fele: egy neurális hálózat azt gyakorolja, hogy egy zajos képről megbecsülje, mennyi és milyen zaj került rá, vagyis hogyan lehetne egy lépéssel tisztábbá tenni.
- Generálás: a modell tiszta véletlen zajból indul, és néhány tucat lépésben mindig levon belőle egy keveset, így a foltokból előbb formák, majd részletek rajzolódnak ki.
- Irányítás: a szöveges utasításodat egy másik modell számokká alakítja, és ez minden lépésben abba az irányba tereli a tisztítást, amit kértél.
- Gyorsítás: a mai rendszerek többnyire nem közvetlenül a képpontokon dolgoznak, hanem a kép tömörített változatán, és csak a végén alakítják vissza teljes felbontású képpé.
Példa a mindennapokból
Születésnapi meghívót készítesz, és egy képgenerátorba beírod: „tortát tartó róka rajzfilmstílusban”. Néhány másodperc múlva kész a kép. Ha a program a köztes állapotokat is mutatja, és a szemcsés, homályos foltból fokozatosan rajzolódik ki a róka, akkor a diffúziós modell zajtalanító lépéseit látod. Nem minden alkalmazás mutatja ezt, és nem minden képgenerátor diffúziós.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Nem érti, amit rajzol: hibázhat a kezeknél, a képen belüli feliratoknál, a tárgyak számánál vagy a fizika törvényeinél, bár az újabb modellek ezekben sokat javultak.
- A tanítóképek torzításait átveszi, ezért sztereotip ábrázolásokat adhat, például foglalkozásoknál vagy népcsoportoknál.
- Megtévesztően élethű hamis képek és videók készíthetők vele, ezért egy kép hitelességét ma már forrásból érdemes ellenőrizni, nem ránézésre.
- A sok lépés miatt számításigényes, a videógenerálás különösen drága és energiaigényes.
Hasonló, de nem ugyanaz
- nagy nyelvi modell – A nyelvi modell többnyire egymás után jósolja meg a következő szövegdarabot, a diffúziós modell viszont az egész képet egyszerre finomítja zajból. Léteznek már kísérleti, diffúziós elven működő nyelvi modellek is.
- generatív versengő hálózat (GAN) – A GAN egyetlen lépésben készít képet két egymással versengő hálózat segítségével, a diffúziós modell sok apró tisztító lépésben, ami lassabb, de stabilabban tanítható és változatosabb eredményt ad.
- generatív MI – A generatív MI a tartalmat előállító rendszerek gyűjtőneve, a diffúziós modell ezen belül csak az egyik módszer.
Kapcsolódó fogalmak
generatív MI, gépi tanulás, mélytanulás, neurális hálózat
látens diffúziós modell, szövegből képet generáló modell, szövegből videót generáló modell
generatív versengő hálózat, nagy nyelvi modell, deepfake, multimodális modell, prompt
Röviden a története
Az alapötletet 2015-ben írta le Jascha Sohl-Dickstein és kutatótársai, a fizikai diffúzió folyamatából merítve. Az áttörést a 2020-as „Denoising Diffusion Probabilistic Models” című tanulmány hozta el (Jonathan Ho, Ajay Jain, Pieter Abbeel). 2022-ben a DALL·E 2 és a nyílt Stable Diffusion révén a nagyközönség is megismerte.
Hol tart most
2026 végén a kép-, videó- és hanggenerálás egyik uralkodó technikája, beépítve telefonos alkalmazásokba, tervező- és irodai programokba. Egyes képgenerátorok ugyanakkor más elven, például a nyelvi modellekhez hasonló, lépésenkénti előállítással dolgoznak. A fejlesztés a kevesebb lépéssel dolgozó, gyorsabb változatok és a hosszabb, következetesebb videók felé halad.
Más nevei
diffúziós modell · diffúziós modellek · diffusion model · diffúziós MI · zajtalanító diffúziós modell · DDPM · látens diffúzió · latent diffusion
Források
- Ho, Jain, Abbeel: Denoising Diffusion Probabilistic Models (2020)
- Sohl-Dickstein et al.: Deep Unsupervised Learning using Nonequilibrium Thermodynamics (2015)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.