ControlNet
A ControlNet olyan kiegészítő a képgeneráló MI-hez, amellyel vázlattal, testtartással vagy körvonallal pontosan megszabhatod, hogyan épüljön fel a kép.
Érthetően
Ha egy képgenerátornak csak szöveggel írod le, mit szeretnél, a kompozíció jórészt a szerencsén múlik: hol áll az alak, merre néz, hol a horizont. A ControlNet ezt a bizonytalanságot csökkenti nagymértékben azzal, hogy a szöveg mellé egy „vezérlőképet” is adhatsz.
Olyan ez, mint a kifestőkönyv: a körvonalak adottak, a gép pedig „kiszínezi”, vagyis a megadott szerkezeten belül találja ki a részleteket, a stílust és a fényeket. Vezérlőkép lehet egy kézi skicc, egy pálcikaemberszerű testtartásváz, egy fotó élrajza vagy egy mélységtérkép, amely azt mutatja, mi van közel és mi távol.
A sima szöveges képgenerálásnál csak azt mondod meg, mi legyen a képen. ControlNettel azt is, hogy hol és milyen formában, ezért lett a tervezők, építészek és illusztrátorok egyik kedvelt eszköze.
Hogyan működik
- Kiindulsz egy képből: lehet saját rajz, fotó vagy 3D-s vázlat. Ebből egy előfeldolgozó program kivonja a lényeges szerkezetet, például az éleket, a testtartást vagy a mélységet. Kész vonalrajznál ez a lépés ki is maradhat.
- Ez a szerkezeti térkép lesz a vezérlőkép, amelyet a szöveges leírásoddal együtt kap meg a képgeneráló modell.
- A ControlNet egy külön betanított kiegészítő hálózat az eredeti modell mellett: az eredetit nem írja át, csak lépésről lépésre „súg” neki, hogy a kép a megadott szerkezethez igazodjon.
- A képalkotás közben a modell zajból fokozatosan tisztítja ki a képet, a ControlNet pedig minden lépésnél a vezérlőkép felé tereli.
- A legtöbb programban egy csúszkával állíthatod, mennyire szigorúan kövesse a gép a vázlatot, és több vezérlést is kombinálhatsz, például testtartást és mélységet egyszerre.
Példa a mindennapokból
Lefotózod a nappalidat, és azt kéred, hogy a gép mutassa meg skandináv stílusban. A ControlNet megtartja a falak, ablakok és bútorok helyét, csak a színek, anyagok és a hangulat változnak, így tényleg a saját szobádat látod új köntösben.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A szerkezetet követi, de a részletekben tévedhet: kezek, feliratok és apró tárgyak ugyanúgy elromolhatnak, mint bármely MI-képen.
- Minden modellcsaládhoz külön betanított változat kell, és jellemzően vezérléstípusonként is, bár léteznek több típust egyben kezelő, úgynevezett „union” változatok. Ezért nem minden kombináció érhető el vagy működik egyformán jól.
- Ha túl szigorúra állítod, merev, élettelen lesz a kép, ha túl lazára, a gép figyelmen kívül hagyja a vázlatot.
- Más fotójának vagy rajzának szerkezetét is le lehet vele másolni, ami szerzői jogi és személyiségi jogi kérdéseket vet fel.
Hasonló, de nem ugyanaz
- Képből kép generálás (img2img) – Az img2img a teljes eredeti képet (színeket, foltokat) veszi kiindulásnak, a ControlNet csak egy kivont szerkezeti réteget, például a körvonalakat vagy a testtartást.
- LoRA – A LoRA egy stílust, szereplőt vagy tárgyat tanít meg a modellnek, a ControlNet viszont az adott kép elrendezését irányítja.
- ControlNet ipari hálózat – Ugyanezen a néven létezik egy gyárautomatizálásban használt kommunikációs szabvány is, amelynek semmi köze a képgeneráláshoz.
Kapcsolódó fogalmak
Képgenerálás, Diffúziós modell, Generatív MI
Testtartás-vezérlés, Mélységtérkép, Éldetektálás
Stable Diffusion, LoRA, Képből kép generálás, Inpainting, Prompt
Röviden a története
A ControlNetet a Stanford Egyetem kutatói, Lvmin Zhang, Anyi Rao és Maneesh Agrawala mutatták be 2023 februárjában. A tanulmány még abban az évben elnyerte az ICCV konferencia legjobb cikkének járó díjat (Marr-díj). A nyílt forráskódú megoldás gyorsan a Stable Diffusion-közösség egyik alapeszköze lett.
Hol tart most
2026 végén a nyílt képgeneráló eszközökben alapfelszereltség, és az ötlet túlnőtt az eredeti megoldáson. Az újabb kép- és videómodellek sokszor már beépítve kínálnak hasonló szerkezeti vezérlést.
Más nevei
ControlNet · Control Net · ControlNet-modell · ControlNet-vezérlés · vezérlőháló · feltételes vezérlés · conditional control · ControlNet model
Források
- Zhang, Rao, Agrawala: Adding Conditional Control to Text-to-Image Diffusion Models (arXiv, 2023)
- ControlNet – a szerzők hivatalos GitHub-tárolója
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.