Fogalomtár › Biztonság

red teaming

Olyan próba, amelyben szakértők szándékosan támadóként viselkednek, hogy még az éles használat előtt megtalálják egy AI-rendszer gyenge pontjait és veszélyes viselkedéseit.

Érthetően

Képzeld el, hogy egy bank felkér egy szakértő csapatot: játsszák el a bankrablót, próbáljanak bejutni a páncélterembe, és utána mondják el, hol volt nyitva az ablak. A red teaming ugyanez az AI világában. A csapat nem azt vizsgálja, hogy jól működik-e a rendszer, hanem azt, hogyan lehet rávenni, hogy rosszul működjön.

A „vörös csapat” tagjai trükkös kérdésekkel, megtévesztő utasításokkal és rejtett csapdákkal próbálkoznak. Meg akarják tudni, ad-e a modell veszélyes tanácsot, elárul-e személyes adatot, vagy megszegi-e a saját szabályait. Amit találnak, azt a fejlesztők kijavítják, mielőtt egy valódi rosszindulatú ember bukkanna rá.

A hagyományos tesztelés azt ellenőrzi, hogy a rendszer rendes használat mellett azt csinálja-e, amit kell. A red teaming azt keresi, mi történik, ha valaki szándékosan vissza akar élni vele. Agenteknél ez különösen fontos, mert egy agent nemcsak beszél, hanem cselekszik is: e-mailt küld, fájlt töröl, vásárol.

Hogyan működik

1. Kijelölik a célt és a kereteket: mit tesztelnek (egy modellt, egy csevegőrobotot vagy egy agentet), és milyen károkat keresnek, például veszélyes tartalmat, adatszivárgást vagy jogosulatlan műveletet.
2. A csapat támadási ötleteket gyűjt: szerepjátékba csomagolt kéréseket, a szabályok kijátszását célzó utasításokat, dokumentumba vagy weboldalba rejtett parancsokat.
3. Sorra kipróbálják ezeket, részben kézzel, részben automatizálva. Gyakran egy másik AI-modell gyárt ezrével támadó kérdéseket.
4. Minden sikeres támadást rögzítenek: mi volt a bemenet, mit csinált a rendszer, mennyire súlyos a következmény.
5. A fejlesztők javítják a hibákat, majd a tesztet megismétlik, mert egy javítás új rést nyithat, és minden új modellverzió másképp viselkedik.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Sosem teljes: a lehetséges bemenetek száma gyakorlatilag végtelen, a csapat pedig csak azt találja meg, amire gondolt.
• Az eredmény erősen függ a tesztelők tudásától, hátterétől és nyelvétől. Egy főleg angolul tesztelt modell magyarul még tartogathat meglepetéseket.
• Nincs egységes mérce, ezért a „red teamingen átesett” címke cégenként mást jelenthet, és marketingfogásként is használható.
• Pillanatfelvételt ad: új modellverzió, új eszköz vagy új adatforrás bekötése után a korábbi eredmény már nem feltétlenül érvényes, ezért a tesztet meg kell ismételni.

Hasonló, de nem ugyanaz

• behatolásteszt – A behatolásteszt jellemzően a hálózat és a szoftver technikai sebezhetőségeit keresi, az AI red teaming pedig a modell viselkedését, vagyis azt is, mit mond és mit tesz a rendszer.
• jailbreak – A jailbreak egy konkrét trükk a modell korlátainak kijátszására, a red teaming pedig az a szervezett, engedélyezett munka, amely többek között ilyen trükköket keres.
• kiértékelés – A kiértékelés előre rögzített feladatsoron méri a teljesítményt, a red teaming kreatív, nyitott végű hibakeresés egy ellenfél fejével.

Kapcsolódó fogalmak

Röviden a története

A kifejezés a hidegháborús amerikai katonai és stratégiai hadijátékokból ered, ahol a „vörös csapat” játszotta az ellenfelet. Innen vette át a kiberbiztonság, majd az AI-fejlesztés. 2023 augusztusában a Las Vegas-i DEF CON konferencián mintegy kétezer résztvevő tesztelte nyilvánosan több cég nagy nyelvi modelljeit, az amerikai kormány támogatásával.

Hol tart most

2026 végén a nagy modellfejlesztőknél bevett gyakorlat a kiadás előtti red teaming. Az EU MI-rendelete a rendszerszintű kockázatot hordozó általános célú modelleknél kötelezővé teszi. A hangsúly egyre inkább az önállóan cselekvő agentek tesztelésére és az automatizált módszerekre kerül.

Állapot: 2026. november

A hírekben

• A METR red teamje háromféleképpen játszotta ki az OpenAI agentmonitorozását2026. okt. 26. · Kód
• Az amerikai kiberbiztonsági álláshirdetések 26,4%-kal estek, az AI-szerepek nőnek2026. okt. 19. · Munka és HR

Más nevei

red teaming · red-teaming · AI red teaming · red team · vörös csapat · vöröscsapat-teszt · támadó szemléletű tesztelés · adversarial testing

Források

• Wikipedia: Red team
• NIST AI Risk Management Framework

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.