Fogalomtár › Biztonság

biztonsági osztályozó

angolul: safety classifier (constitutional classifiers)

A biztonsági osztályozó olyan külön ellenőrző MI-modell, amely a kérdéseket és a válaszokat figyeli, és igyekszik megállítani a veszélyes tartalmat, mielőtt az eljutna hozzád.

Érthetően

Képzeld el a repülőtéri biztonsági ellenőrzést. Hiába megbízható a legtöbb utas, mindenkit és minden csomagot átvilágítanak. A biztonsági osztályozó ugyanezt csinálja egy MI-rendszerben, csak két ponton: megnézi, ami bemegy (a kérdésedet), és azt is, ami kijön (a választ). Ez egy külön, többnyire kisebb modell, amely maga nem válaszol, csak eldönti egy szövegről, hogy átmehet-e.

Azért van rá szükség, mert a nagy nyelvi modelleket ügyes trükkökkel rá lehet venni olyasmire, amit maguktól megtagadnának. Ilyen trükk a szerepjáték, a rejtjelezett kérés vagy a hosszú, megtévesztő történet. Az osztályozó második védvonal: ha a fő modellt sikerül is átverni, a kapuőr még megfoghatja a veszélyes kérést vagy választ.

Az „alkotmányos osztályozó” (constitutional classifier) ennek egy fajtája, amelyet az Anthropic dolgozott ki. Itt a szabályokat hétköznapi nyelven írják le egy „alkotmányban”: mi megengedett és mi tilos. Ebből a leírásból gépi úton rengeteg gyakorlópéldát készítenek, és ezeken tanítják be az osztályozót. Ha új veszély bukkan fel, elég a szabályszöveget bővíteni és újratanítani.

Hogyan működik

1. A fejlesztők leírják természetes nyelven, milyen tartalom tilos (például tömegpusztító fegyver készítésének lépései), és milyen hasonló, de ártalmatlan tartalom megengedett (például iskolai kémia).
2. Egy nyelvi modell ebből a szabályzatból sok ezer mesterséges példát gyárt: tiltott és megengedett kéréseket, többféle nyelven, stílusban és ismert kijátszási trükkökkel átírva.
3. Ezeken a példákon betanítanak egy bemeneti osztályozót, amely a kérdésedet vizsgálja, és egy kimeneti osztályozót, amely a készülő választ figyeli.
4. Használat közben a kimeneti osztályozó menet közben, szinte szavanként pontozza a választ. Ha a kockázat átlép egy küszöböt, a rendszer megszakítja a válaszadást.
5. A védelmet folyamatosan támadják szándékosan is (ezt hívják red teamingnek), és a megtalált réseket a szabályzat és a tanítópéldák frissítésével tömik be.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Téved mindkét irányban: néha ártalmatlan kérdést is elutasít (például orvosi vagy kémiai témában), néha pedig átenged veszélyes tartalmat.
• Csak azt szűri, amire betanították, vagyis egy szűk területre szabott osztályozó nem véd meg minden másfajta káros vagy téves tartalomtól.
• Minden kérésnél pluszszámítást igényel, ami növeli a szolgáltatás költségét, és lassíthatja a választ.
• Azt, hogy mi számít tiltottnak, a szolgáltató dönti el, és a szabályzat részletei kívülről sokszor nem láthatók.

Hasonló, de nem ugyanaz

• tartalommoderálás – A moderálás a teljes folyamat emberekkel, szabályzattal és panaszkezeléssel együtt, a biztonsági osztályozó ennek csak egy automatikus eszköze.
• összehangolás (alignment) – Az összehangolás magát a modellt neveli helyes viselkedésre, az osztályozó viszont kívülről ellenőrzi, bármit is tenne a modell.
• rendszerprompt – A rendszerprompt utasítás magának a modellnek, amelyet az figyelmen kívül hagyhat, vagy amelyet trükkel ki lehet játszani. Az osztályozó viszont külön modell, amely a fő modelltől függetlenül dönt, bár tévedhet ő is.

Kapcsolódó fogalmak

Röviden a története

Káros tartalmat felismerő osztályozókat a közösségi oldalak moderálásában már a nagy nyelvi modellek előtt is használtak. Az alkotmányos osztályozókat az Anthropic kutatói 2025 elején mutatták be egy tanulmányban. A prototípust több mint háromezer órán át próbálták szándékosan feltörni, és ez alatt nem találtak olyan általános trükköt, amely minden tiltott kérdésre működött volna. A későbbi nyilvános próbán néhány résztvevőnek mégis sikerült átjutnia a védelmen, ami megmutatta, hogy a módszer erős, de nem feltörhetetlen. Az Anthropic 2025 tavaszától éles termékeiben is használ ilyen osztályozókat a legsúlyosabb, főként vegyi és biológiai fegyverekkel kapcsolatos kockázatok ellen.

Hol tart most

2026 végén a nagy MI-szolgáltatók termékeiben megszokott a modell elé és mögé tett biztonsági szűrő, és szabadon letölthető szűrőmodellek is elérhetők (ilyen például a Llama Guard). A szabályzatból tanított, alkotmányos megközelítés ennél szűkebb körben, főként a legsúlyosabb kockázatok ellen fut élesben.

Állapot: 2026. november

A hírekben

• Claude Code sérülékenységek: CI/CD-szivárgás, kijátszott auto mód, AWS-hitelesítő lopás2026. szept. 7. · Kód

Más nevei

biztonsági osztályozó · biztonsági klasszifikátor · alkotmányos osztályozó · safety classifier · constitutional classifiers · guard model · tartalomszűrő · moderációs modell

Források

• Sharma et al.: Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming (arXiv, 2025)
• Anthropic: Constitutional Classifiers – kutatási összefoglaló

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.