Fogalomtár › Tanítás és adat

modellösszeomlás

angolul: model collapse

Az a jelenség, amikor egy MI-modell minősége nemzedékről nemzedékre romlik, mert emberi tartalom helyett egyre inkább más modellek által gyártott anyagokból tanul.

Érthetően

Képzeld el, hogy lefénymásolsz egy fényképet, aztán a másolatot másolod tovább, majd annak a másolatát. Az első néhány körben alig látsz különbséget, a huszadik példányon viszont már csak szürke foltok vannak. A modellösszeomlás ugyanez a mesterséges intelligenciánál: ha egy modell olyan szövegekből vagy képekből tanul, amelyeket egy korábbi modell állított elő, az apró hibák és egyszerűsítések körről körre felerősödnek.

Először a ritka dolgok tűnnek el: a szokatlan szófordulatok, a kisebbségi nézőpontok, a különleges esetek. A modell egyre inkább az „átlagot” ismétli, a kimenete laposabb és egyhangúbb lesz. Előrehaladott állapotban már értelmetlen vagy önismétlő tartalmat ad.

A téma azért lett fontos, mert az internet gyorsan telik MI-vel írt cikkekkel, képekkel és hozzászólásokkal, a jövő modelljeit pedig nagyrészt az internetről gyűjtött adatokon tanítják. Ha senki nem figyel arra, mi kerül a tanítóadatba, a modellek a saját „visszhangjukból” kezdenek tanulni.

Hogyan működik

1. Egy modell emberi tartalmakból megtanulja, milyen a nyelv vagy a képi világ. Ez a tudás soha nem tökéletes: a gyakori mintákat jól, a ritkákat pontatlanul vagy sehogy sem jegyzi meg.
2. Amikor a modell tartalmat gyárt, a legvalószínűbb megoldások felé húz, így a kimenetében a ritka esetek még ritkábbak, mint az eredeti adatban voltak.
3. Ez a tartalom kikerül az internetre, és a következő modell tanítóadatába is bekerül, sokszor jelöletlenül, az emberi szövegek közé keveredve.
4. Az új modell már egy szűkebb, torzított világképből tanul, és ezt ő maga tovább szűkíti. A kutatók ezt korai összeomlásnak hívják: a változatosság széle lekopik, miközben az átlagos teljesítmény még jónak látszik.
5. Ha a kör sokszor megismétlődik, és a korábbi nemzedékek kimenete kiszorítja az emberi adatot, eljön a kései összeomlás: a modell kimenete alig hasonlít az eredeti valóságra. Ha az eredeti emberi adat végig megmarad a tanítóanyagban, a romlás erősen fékezhető.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A legerősebb bizonyítékok laboratóriumi kísérletekből származnak, ahol a modelleket szándékosan csak a saját kimenetükön tanították; a valós interneten a helyzet vegyesebb, és a hatás mértéke vitatott.
• A romlás eleinte alig látszik, mert az átlagos teljesítmény jó marad, miközben a ritka esetek és a kisebbségi csoportok adatai már kikopnak.
• A géppel írt tartalmat ma nem lehet megbízhatóan felismerni, ezért a tanítóadat utólagos megtisztítása nehéz és költséges.
• A szintetikus adat önmagában nem káros: célzottan, ellenőrizve és valódi adattal keverve hasznos lehet, a baj a válogatás nélküli, ismétlődő újrahasznosítással van.

Hasonló, de nem ugyanaz

• hallucináció – A hallucináció egy-egy válasz kitalált, valótlan állítása, a modellösszeomlás viszont a modellek nemzedékeken átívelő, fokozatos minőségromlása.
• módusösszeomlás (mode collapse) – A módusösszeomlás egyetlen generatív modell tanítási hibája (főleg a GAN típusú képgenerálóknál ismert), amikor az csak néhány féle kimenetet tud előállítani; nem kell hozzá több modellnemzedék.
• katasztrofális felejtés – Katasztrofális felejtésnél a modell egy új feladat tanulása közben veszíti el a régi tudását, nem a géppel gyártott adat miatt.

Kapcsolódó fogalmak

Röviden a története

A kifejezést Ilia Shumailov és kutatótársai vezették be 2023-ban, „The Curse of Recursion” című tanulmányukban. Eredményeik 2024-ben a Nature folyóiratban is megjelentek, és ekkor vált a fogalom széles körben ismertté.

Hol tart most

2026 végén a modellösszeomlás kísérletekben jól igazolt kockázat, de nagy, élesben használt modelleknél nem dokumentáltak teljes összeomlást. A kutatás és a fejlesztők figyelme az adatok eredetének követésére, az emberi adat megőrzésére és a géppel készült tartalom jelölésére irányul.

Állapot: 2026. november

Más nevei

modellösszeomlás · modell-összeomlás · model collapse · AI model collapse · MI-modellek összeomlása · Model Autophagy Disorder (MAD) · Habsburg AI · MI-kannibalizmus

Források

• Shumailov et al.: AI models collapse when trained on recursively generated data (Nature, 2024)
• Shumailov et al.: The Curse of Recursion: Training on Generated Data Makes Models Forget (arXiv, 2023)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.