memorizálás
angolul: memorization (training data memorization)
A memorizálás az, amikor egy AI-modell a tanítóadat egyes részleteit szó szerint megjegyzi, és később vissza is tudja adni őket.
Érthetően
Egy nyelvi modellnek elvileg mintázatokat kell megtanulnia: hogyan épül fel egy mondat, mi következik miből. Néha azonban konkrét szövegrészeket is szó szerint megjegyez, például egy verset, egy cikk bekezdését, egy telefonszámot vagy egy kódrészletet. Ezt hívjuk memorizálásnak.
Olyan ez, mint a diák, aki a történelemtételt nem megérti, hanem bemagolja. Ha pontosan azt kérdezik, hibátlanul felmondja, de közben olyasmit is visszaad, amit nem kellene, például a tankönyv lábjegyzetét vagy a padtárs odafirkált nevét.
A memorizálás nem mindig baj: jó, ha a modell pontosan tudja a szorzótáblát, a Himnusz szövegét vagy egy közismert tényt. Akkor lesz belőle gond, ha személyes adatot, üzleti titkot vagy szerzői joggal védett szöveget ad vissza szó szerint.
Hogyan működik
- A modell tanítás közben rengeteg szöveget lát, és a belső számértékeit (paramétereit) úgy állítja be, hogy minél jobban el tudja találni a következő szót.
- Amit sokszor lát, például egy ezerszer lemásolt idézetet vagy licencszöveget, azt a legegyszerűbb szó szerint megjegyeznie, így az beleég a paraméterekbe.
- A ritka, de feltűnő adatok is megragadhatnak, például egy egyedi név, cím vagy azonosító, különösen nagy modelleknél és többszöri tanítási körnél.
- Ha később valaki megadja a szöveg elejét, vagy ügyesen megfogalmazott kéréssel próbálkozik, a modell folytathatja az eredetit. Ezt a szándékos kicsalást tanítóadat-kinyerésnek hívják.
- A fejlesztők ismétlődések kiszűrésével, az adatok tisztításával, kimeneti szűrőkkel és zajt adó tanítási módszerekkel csökkentik a jelenséget, de teljesen megszüntetni nem tudják.
Példa a mindennapokból
Megkéred a chatbotot, hogy folytassa egy ismert regény első mondatát, és előfordulhat, hogy hosszabb részt szinte szó szerint az eredeti szövegből kapsz, bár a mai szolgáltatások ezt szűrőkkel igyekeznek megakadályozni. Hasonló történik, amikor egy kódoló agent olyan programrészletet javasol, amely megjegyzésekkel együtt egyezik egy nyilvános projekt kódjával.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Ne írj be chatbotba olyan személyes vagy céges adatot, amelyet nem szeretnél viszontlátni, ha a szolgáltató a beszélgetéseket tanításra is felhasználhatja.
- Az, hogy a modell magabiztosan idéz valamit, nem jelenti, hogy pontos: a félig megjegyzett szöveget gyakran kitalált részekkel egészíti ki.
- Kívülről nehéz megállapítani, hogy egy adott szöveg benne volt-e a tanítóadatban, és hogy a modell megjegyezte-e.
- Ami egyszer beleégett a modellbe, azt utólag nagyon nehéz célzottan törölni, sokszor csak újratanítással lehet.
Hasonló, de nem ugyanaz
- túltanulás – A túltanulásnál a modell általában is rosszul teljesít új adaton, míg memorizálni egy egyébként jól általánosító modell is tud egyes részleteket.
- hallucináció – A hallucináció kitalált, valótlan tartalom, a memorizálás viszont valódi, a tanítóadatban szereplő szöveg visszaadása.
- AI-memória – Az AI-memória szándékosan beépített funkció, amellyel az asszisztens vagy agent megjegyzi a korábbi beszélgetéseidet, a memorizálás pedig a tanítás nem tervezett mellékhatása.
Kapcsolódó fogalmak
tanítóadat-kinyerés, szó szerinti visszaadás
túltanulás, általánosítás, tanítóadat, differenciális adatvédelem, gépi felejtés
Röviden a története
A gépi tanulásban régóta ismert, hogy a modellek bemagolhatják a tanítóadatot, de a nagy nyelvi modelleknél ez a 2010-es évek végén vált adatvédelmi kérdéssé. Nicholas Carlini és kutatótársai 2018-ban kisebb nyelvi modelleken mutatták ki a jelenséget, majd egy 2020 végén közzétett, 2021-ben megjelent tanulmányban megmutatták, hogy a GPT-2 modellből szó szerinti tanítószövegek, köztük személyes adatok is kinyerhetők.
Hol tart most
2026 végén a memorizálás jól ismert, minden nagy modellnél vizsgált jelenség, a szerzői jogi perek és az adatvédelmi szabályozás egyik központi témája. A védekezési módszerek sokat javultak, de teljes megoldás nincs.
A hírekben
- A müncheni bíróság szerint a dalszövegek memorizálása szerzői jogilag releváns2026. okt. 23. · Jog
Más nevei
memorizáció · bemagolás · tanítóadat-memorizálás · szó szerinti megjegyzés · memorization · training data memorization · verbatim memorization · regurgitation
Források
- Carlini et al.: Extracting Training Data from Large Language Models (arXiv, 2020)
- Carlini et al.: The Secret Sharer – Evaluating and Testing Unintended Memorization in Neural Networks (arXiv, 2018)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.