Fogalomtár › Tanítás és adat

adatszennyeződés

angolul: data contamination (benchmark contamination)

Adatszennyeződésről akkor beszélünk, ha egy AI-modell a tanítása során már látta a tesztfeladatokat, ezért a vizsgán jobbnak tűnik, mint amilyen valójában.

Érthetően

Képzeld el, hogy egy diák a dolgozat előtt megszerzi a feladatlapot a megoldásokkal együtt. Ötöst ír, de ebből nem derül ki, hogy érti-e az anyagot, vagy csak emlékszik a válaszokra. Az AI-modelleknél ugyanez a helyzet áll elő, csak többnyire nem szándékos csalásból, hanem véletlenül.

A nagy nyelvi modelleket az internet óriási szeletén tanítják. A modellek tudását mérő tesztsorok (benchmarkok) viszont szintén nyilvánosak: ott vannak a kutatói oldalakon, fórumokon, kódtárakban. Így a tesztkérdések és a megoldásaik könnyen bekerülnek a tanítóanyagba.

Ez azért baj, mert a teszt azt akarná megmutatni, mennyire boldogul a modell ismeretlen feladatokkal. Ha a feladat ismerős, az eredmény felfelé torzít, és a ranglistákon látott pontszám többet ígér, mint amit a modell a te saját, új problémádon nyújtani fog.

Hogyan működik

1. A kutatók összeállítanak egy tesztsort kérdésekkel és helyes válaszokkal, majd nyilvánosan közzéteszik, hogy bárki mérhessen vele.
2. A tesztsor szövege megjelenik a weben: cikkekben, fórumbejegyzésekben, kódtárakban, megoldókulcsokban.
3. Egy új modell tanítóanyagát a webről gyűjtik, és ezzel együtt a tesztfeladatok is bekerülnek, sokszor anélkül, hogy bárki észrevenné.
4. A modell a vizsgán részben a korábban látott megoldásokat idézi fel, ahelyett hogy önállóan oldaná meg a feladatot, így a pontszáma magasabb lesz a valós képességénél.
5. Védekezésül a fejlesztők kiszűrik a tanítóanyagból a tesztekkel egyező szövegrészeket. A kutatók titokban tartott vagy rendszeresen frissülő feladatsorokat használnak, és vizsgálják, hogy a modell vissza tudja-e adni szó szerint a tesztet, vagy jobban teljesít-e a régi feladatokon, mint az azonos nehézségű újakon.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Kívülről szinte lehetetlen biztosan megállapítani, hogy egy modell látta-e a tesztet, mert a tanítóadatok listája általában nem nyilvános.
• A szennyeződés nem csak szó szerinti másolat lehet: az átfogalmazott, lefordított vagy fórumon megbeszélt feladat is torzítja az eredményt.
• A titkos tesztsor sem tökéletes megoldás, mert ha a modellt online szolgáltatáson keresztül mérik, a kérdések a szolgáltatóhoz kerülhetnek.
• Egy nyilvános teszt idővel elavul: minél régebbi és népszerűbb, annál valószínűbb, hogy az újabb modellek már találkoztak vele.

Hasonló, de nem ugyanaz

• adatmérgezés – Az adatmérgezés szándékos támadás, amely rosszindulatú adatokkal rontja el a modell működését. Az adatszennyeződés többnyire véletlen, és elsősorban a teljesítmény mérését torzítja.
• túlillesztés – A túlillesztésnél a modell a tanítóadatait magolja be általánosítás helyett, az adatszennyeződésnél pedig a vizsgaadatok szivárognak be a tanítóanyagba.
• hallucináció – A hallucináció a modell magabiztos, de hamis állítása, az adatszennyeződés viszont a teljesítménymérés hibája.

Kapcsolódó fogalmak

Röviden a története

A tanító- és tesztadatok szétválasztása a gépi tanulás régi alapszabálya. A webről tanított nagy nyelvi modellekkel vált igazán égetővé: az OpenAI 2020-as GPT-3-tanulmánya már külön vizsgálta, mely tesztek kerülhettek be a tanítóanyagba. 2023-tól a kérdés önálló kutatási területté nőtt.

Hol tart most

2026 végén az adatszennyeződés a modellértékelés egyik legismertebb problémája. Terjednek a titkos vagy rendszeresen frissülő tesztsorok, de egységes, mindenki által elfogadott megoldás nincs.

Állapot: 2026. november

Más nevei

adatszennyezés · benchmark-szennyeződés · tesztadat-szivárgás · data contamination · benchmark contamination · test set contamination

Források

• Wikipedia: Leakage (machine learning)
• Golchin – Surdeanu: Time Travel in LLMs: Tracing Data Contamination in Large Language Models (arXiv, 2023)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.