Fogalomtár › Biztonság

biztonsági értékelés

angolul: safety evaluation

A biztonsági értékelés olyan tesztsorozat, amellyel kiadás előtt és után megmérik, okozhat-e kárt egy MI-rendszer, és mennyire lehet rávenni veszélyes viselkedésre.

Érthetően

Mielőtt egy új autó az utakra kerül, törésteszten megy át: szándékosan falnak vezetik, hogy kiderüljön, mi történik baj esetén. A biztonsági értékelés ugyanez az MI világában. Itt azt vizsgálják, mi a legrosszabb, amit a modell okozhat, és ez mekkora eséllyel következik be. Azt, hogy a modell mennyire ügyes a hétköznapi feladatokban, más tesztek mérik.

A tesztelők több ezer kényes kérést adnak a rendszernek. Megnézik, ad-e veszélyes útmutatót, be lehet-e csapni ügyes megfogalmazással, félrevezeti-e a felhasználót, kiszivárogtat-e személyes adatot. Az önállóan cselekvő agenteknél azt is figyelik, mit tesz a rendszer, ha eszközökhöz, fájlokhoz vagy pénzhez fér hozzá. Például azt, hogy töröl-e valamit, amit nem kellene, vagy átlépi-e a kapott felhatalmazást.

A hagyományos szoftvertesztnél egy adott bemenetre jellemzően ugyanaz a kimenet jön. Egy nyelvi modell ugyanarra a kérdésre többféleképpen válaszolhat, és a lehetséges kérdések száma gyakorlatilag végtelen. Az értékelés ezért csak mintát tud venni a viselkedésből: csökkenti a kockázatot, de teljes biztonságot nem tud igazolni.

Hogyan működik

1. A kockázatok kijelölése: a fejlesztők vagy a külső vizsgálók eldöntik, milyen károkat keresnek, például veszélyes tanácsokat, csalásban való közreműködést, megtévesztést, adatszivárgást vagy ellenőrizhetetlen önálló cselekvést.
2. Tesztfeladatok összeállítása: minden kockázathoz kérdéssorokat és élethű helyzeteket készítenek. Az agenteknél ez elzárt próbakörnyezet, ahol a rendszer valódi kár nélkül használhat eszközöket.
3. Futtatás és támadás: a modellt automatikusan, sokszor egymás után tesztelik, közben emberi szakértők és más MI-rendszerek szándékosan próbálják kijátszani a védelmét.
4. Pontozás: a válaszokat szabályok, bíráló modellek és emberek minősítik, és megszámolják, hány esetben hibázott a rendszer, és mennyire súlyosan.
5. Döntés és ismétlés: az eredményt előre rögzített küszöbökhöz mérik. Ha a modell átlépi őket, a kiadást elhalasztják vagy további védelmet építenek be. Minden új változatnál újra lefuttatják a teszteket.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A tesztek csak az előre elképzelt veszélyeket mérik, ezért az újfajta visszaélések és a váratlan helyzetek könnyen kimaradnak.
• Sok értékelést maga a fejlesztő cég végez és tesz közzé, ezért figyeld meg, volt-e független külső vizsgálat is.
• A kutatások szerint a fejlett modellek olykor felismerik, hogy éppen tesztelik őket, és ilyenkor másként viselkedhetnek, mint éles használatban.
• A különböző cégek eredményei nehezen hasonlíthatók össze, mert nincs egységes, mindenki által elfogadott mérce.

Hasonló, de nem ugyanaz

• teljesítménymérés (benchmark) – A teljesítménymérés azt vizsgálja, mennyire ügyes a modell egy feladatban, a biztonsági értékelés pedig azt, mekkora kárt okozhat.
• red teaming – A red teaming az értékelés egyik módszere, amelyben emberek vagy gépek szándékosan támadják a rendszert. A biztonsági értékelés ennél tágabb, szabványos méréseket is tartalmaz.
• megfelelőségi audit – Az audit azt ellenőrzi, betartja-e a szervezet a szabályokat és a dokumentációs kötelezettségeket, az értékelés magának a modellnek a viselkedését méri.

Kapcsolódó fogalmak

Röviden a története

A gépi tanulási modellek tesztelése régi gyakorlat, de a kifejezetten biztonsági célú értékelés a nagy nyelvi modellek elterjedésével vált önálló szakterületté. 2023 januárjában jelent meg az amerikai NIST MI-kockázatkezelési keretrendszere. 2023 novemberében, a Bletchley Park-i csúcstalálkozó idején jelentették be az első állami MI-biztonsági intézetet az Egyesült Királyságban; ennek neve 2025 februárja óta AI Security Institute.

Hol tart most

2026 végén a nagy fejlesztők kiadás előtt rendszeresen végeznek és részben közzétesznek biztonsági értékeléseket. Az EU MI-rendelete 2025 augusztusa óta kötelezővé teszi a modellértékelést a rendszerszintű kockázatot jelentő általános célú modelleknél. Egységes módszertan és mindenre kiterjedő független ellenőrzés még nincs, az agentek értékelése pedig különösen kiforratlan.

Állapot: 2026. november

A hírekben

• Az Egyesült Királyság hozzáfér a legújabb modellek biztonsági teszteléséhez2026. okt. 8. · Agent Age
• Szövetségi AI-szabályozást sürgetnek kormányzók, főügyész, Bill Gates és kongresszusi javaslatok2026. szept. 21. · Jog
• Az OpenAI az áramszolgáltatóknak ajánlja AI-megoldásait a hálózat védelmére2026. szept. 10. · Ipar

Más nevei

biztonsági értékelés · biztonsági kiértékelés · MI-biztonsági értékelés · biztonsági tesztelés · safety evaluation · safety eval · safety evals · AI safety evaluation

Források

• NIST AI Risk Management Framework

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.