Fogalomtár › Tanítás és adat

adatmérgezés

angolul: data poisoning

Az adatmérgezés olyan támadás, amikor valaki szándékosan hamis vagy manipulált adatot csempész egy MI tanítóanyagába, hogy a rendszer később hibásan vagy a támadó javára működjön.

Érthetően

Képzeld el, hogy valaki egy szakácsiskola tankönyvébe észrevétlenül átír néhány receptet. A tanulók jóhiszeműen megtanulják, és évekkel később is rosszul főzik azt az ételt, mert a hiba már a tudásukba épült. Az adatmérgezés ugyanezt teszi a mesterséges intelligenciával: nem a kész rendszert töri fel, hanem azt rontja el, amiből tanul.

A támadó célja többféle lehet. Lehet, hogy általában rontani akarja a modell minőségét. Lehet, hogy egy témában akarja elferdíteni a válaszait. Az is lehet, hogy rejtett „hátsó ajtót” épít be, vagyis a modell rendesen viselkedik, amíg egy bizonyos jelszó vagy minta meg nem jelenik, és akkor azt teszi, amit a támadó akar.

Azért nehéz ellene védekezni, mert a mai nagy modellek hatalmas mennyiségű, az internetről gyűjtött szövegből és képből tanulnak, amit ember soha nem néz át egyenként. Aki tartalmat tud tenni a nyilvános webre, az elvileg a tanítóanyagba is be tud juttatni valamit.

Hogyan működik

1. A támadó kiszemeli, honnan gyűjt adatot a modell: nyilvános weboldalakról, fórumokról, nyílt kódtárakból, letölthető adatkészletekből vagy felhasználói visszajelzésekből.
2. Elhelyezi a mérgezett tartalmat: hamis állításokat, félrecímkézett képeket vagy olyan szövegeket, amelyekben egy ritka kifejezés mindig ugyanahhoz a káros viselkedéshez kapcsolódik.
3. A fejlesztő begyűjti az adatot, és a tanítás során a modell a mérgezett mintákat ugyanúgy megtanulja, mint a valódiakat.
4. A kész modell a szokásos teszteken jól teljesít, ezért a hiba rejtve marad.
5. Amikor a kiváltó helyzet előáll (egy adott kérdés, kulcsszó vagy képrészlet), a modell a támadó által betanított módon válaszol vagy cselekszik.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A mérgezést utólag nehéz kimutatni, mert a modell a szokásos teszteken hibátlanul működhet.
• A már megtanult mérgezett tudást nem lehet egyszerűen kitörölni, gyakran csak a megtisztított adaton végzett újratanítás segít.
• Tökéletes védelem nincs: az adatszűrés és a források ellenőrzése csökkenti a kockázatot, de nem szünteti meg.
• Nem minden hibás MI-válasz mögött áll támadás, a legtöbb tévedés oka egyszerűen a gyenge vagy hiányos tanítóadat.

Hasonló, de nem ugyanaz

• promptinjektálás – A promptinjektálás a kész modellt téríti el használat közben egy becsempészett utasítással, az adatmérgezés viszont már a tanulás során rontja el a modellt.
• torzítás (bias) – A torzítás többnyire nem szándékos, az adatok egyoldalúságából fakad, az adatmérgezés mögött viszont mindig szándékos beavatkozás áll.
• hallucináció – Hallucinációnál a modell magától talál ki valótlanságot, mérgezésnél valaki szándékosan tanította meg rá.

Kapcsolódó fogalmak

Röviden a története

A gépi tanulás támadhatóságát a 2000-es évek közepétől vizsgálják a kutatók. Az egyik első, máig sokat idézett tanulmány Battista Biggio, Blaine Nelson és Pavel Laskov 2012-es munkája, amely megmutatta, hogy egy tanuló algoritmus célzottan elrontható a tanítóadatba csempészett mintákkal. A nagyközönség 2016-ban találkozott a jelenséggel, amikor a Microsoft Tay nevű csevegőrobotját, amely a felhasználókkal folytatott beszélgetésekből tanult, kevesebb mint egy nap alatt sértő szövegekre szoktatták rá, és le kellett állítani.

Hol tart most

2026 végén az adatmérgezés már elismert biztonsági kockázat: az EU MI-rendelete név szerint említi, és a NIST is besorolta a támadástípusok közé. Bevált, megbízható védekezés még nincs, a fejlesztők főként az adatok eredetének ellenőrzésére és szűrésére támaszkodnak.

Állapot: 2026. november

Más nevei

adatmérgezés · data poisoning · tanítóadat-mérgezés · mérgezéses támadás · poisoning attack · training data poisoning · AI poisoning

Források

• Biggio, Nelson, Laskov: Poisoning Attacks against Support Vector Machines (2012)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.