karakterkonzisztencia
angolul: character consistency
A képet vagy videót generáló MI azon képessége, hogy ugyanaz a szereplő több képen és jeleneten át felismerhetően ugyanúgy nézzen ki.
Érthetően
Ha egy képgenerátortól kétszer kérsz „barna hajú, szemüveges lányt piros kabátban”, két különböző lányt kapsz. Mindkettő megfelel a leírásnak, de más az arcuk, a testalkatuk, a kabátjuk szabása. A karakterkonzisztencia azt jelenti, hogy a gép ugyanazt a szereplőt hozza vissza: ugyanazzal az arccal, hajjal, ruhával, akár más helyszínen, más testtartásban, más fényben is.
Olyan ez, mint a képregényrajzoló munkája. Neki is az a dolga, hogy a hős az első és a századik kockán ugyanaz az ember legyen, akár szemből, akár hátulról, akár esőben látjuk. Az emberi rajzoló ehhez karakterlapot készít és arra néz vissza. A generatív MI alapból nem „emlékszik” arra, mit rajzolt az előbb, ezért ezt külön meg kell oldani.
Ettől lesz a képgenerálás egyszeri látványosságból történetmesélő eszköz. Mesekönyvhöz, képregényhez, reklámsorozathoz, márkakabalához vagy több jelenetből álló videóhoz ugyanarra a szereplőre van szükség, nem csak egy-egy szép képre.
Hogyan működik
- Először kell egy „referencia”: egy vagy több kép a szereplőről, amelyet te töltesz fel, vagy amelyet korábban a géppel készítettél.
- A rendszer a referenciaképből kiolvassa a szereplő jellegzetességeit (arcvonások, haj, testalkat, ruházat). Sok eszköz ezt egy tömör számsorrá alakítja, amely a karakter „ujjlenyomataként” szolgál, az újabb modellek pedig közvetlenül magát a képet is figyelembe veszik.
- Új kép készítésekor a modell a szöveges kérésed mellé ezt a referenciát is megkapja. A szöveg mondja meg, mi történik a képen, a referencia pedig azt, hogy kivel.
- Ha ennél is pontosabb egyezés kell, a modellt rá lehet tanítani egy adott szereplőre. Ehhez már néhány kép is elég lehet, de jellemzően egy-két tucatot használnak. Ez a finomhangolás, amelynek elterjedt, kis erőforrásigényű formája a LoRA.
- Videónál a rendszernek képkockáról képkockára és vágásról vágásra is tartania kell a szereplőt. Ezt jellemzően kezdőképpel, referenciaképekkel vagy elmentett karakterrel segítik.
Példa a mindennapokból
Mesekönyvet készítesz a gyerekednek egy Borsó nevű rókáról, és húsz illusztráció kell hozzá. Karakterkonzisztencia nélkül Borsó minden oldalon kicsit más róka lenne: hol hosszabb a füle, hol más színű a sálja. A referenciaképes funkcióval végig ugyanaz a róka marad, miközben a helyszín erdőről konyhára vált.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Az egyezés ritkán tökéletes: apró részletek (anyajegy, ékszer, ruhaminta, szemszín) képről képre elcsúszhatnak, főleg szokatlan szögből vagy távoli alakoknál.
- Több szereplő egy képen nehéz eset: a modell hajlamos összekeverni a vonásaikat vagy a ruháikat.
- Valódi ember képét csak az ő beleegyezésével használd referenciának, mert a technika megtévesztő hamisítványok (deepfake) készítésére is alkalmas, és ez jogi következményekkel járhat.
- Ismert rajzfilm- vagy filmfigura következetes újraalkotása szerzői jogi és védjegyproblémát vethet fel, még akkor is, ha a képet a gép készítette.
Hasonló, de nem ugyanaz
- stíluskonzisztencia – Ott a képek rajzmodora, színvilága és hangulata marad egységes, míg a karakterkonzisztencia a szereplő kilétét őrzi meg, akár eltérő stílusokon át is.
- deepfake – A deepfake valódi ember megtévesztő utánzása, a karakterkonzisztencia pedig semleges technikai képesség, amelyet többnyire kitalált szereplőkre használnak.
- időbeli konzisztencia – Az egyetlen videón belül a képkockák közötti villódzás és torzulás elkerülését jelenti, a karakterkonzisztencia viszont külön képek és jelenetek között tartja meg a szereplőt.
Kapcsolódó fogalmak
generatív MI, képgenerálás, videógenerálás
referenciakép, karakterreferencia, arcmegőrzés
stíluskonzisztencia, finomhangolás, LoRA, diffúziós modell, deepfake
Röviden a története
A probléma a szövegből képet készítő modellek 2022-es elterjedésével vált széles körben ismertté. Ugyanebben az évben jelentek meg az első kutatási megoldások, a Textual Inversion és a Google kutatóinak DreamBooth módszere, amelyek néhány fotóból tanítottak meg a modellnek egy konkrét alanyt. 2024-től a nagy képgenerátorok beépített karakterreferencia-funkciót is kínálnak, így a felhasználónak már nem kell modellt tanítania.
Hol tart most
2026 végén a vezető kép- és videógenerátorok alapfunkcióként kínálják a referenciaképes szereplőmegtartást, és állóképeknél ez többnyire jól működik. Hosszabb videókban, több szereplőnél és apró részleteknél még gyakori a hiba.
Más nevei
karakterkonzisztencia · karakter-konzisztencia · következetes karakter · karakterhűség · character consistency · consistent character · character reference · subject consistency
Források
- Ruiz et al.: DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation (arXiv, 2022)
- Gal et al.: An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion (arXiv, 2022)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.