Fogalomtár › Társadalom és etika

magyarázható AI (XAI)

angolul: explainable AI

Olyan módszerek összessége, amelyek ember számára érthetővé teszik, hogy egy AI-rendszer miért éppen azt a döntést vagy választ adta.

Érthetően

A mai AI-rendszerek többsége úgy működik, mint egy nagyon tapasztalt, de szűkszavú szakértő: megmondja az eredményt, de nem mondja meg, miért. A magyarázható AI azt a célt szolgálja, hogy a „miért” is kiderüljön: mely adatok, szempontok vagy minták vezettek az adott döntéshez.

Gondolj egy orvosra, aki nemcsak felírja a gyógyszert, hanem el is mondja, melyik leleted alapján döntött így. Ettől még nem leszel orvos, de tudsz kérdezni, ellenkezni, és észreveszed, ha valamit félreértett. Ugyanezt várjuk el a géptől, ha hitelről, állásról vagy diagnózisról dönt.

Miben más, mint a hagyományos szoftver? Egy régi típusú programban a szabályokat ember írta, tehát vissza lehet keresni őket. Egy tanuló rendszer viszont maga alakítja ki a belső összefüggéseit több millió vagy milliárd számból, amelyeket közvetlenül senki sem tud elolvasni. A magyarázhatóság ezt a szakadékot próbálja áthidalni.

Hogyan működik

1. A legegyszerűbb út az eleve átlátható modell: például egy döntési fa vagy pontozótábla, amelynek minden lépése követhető. Ezek jól érthetők, de bonyolult feladatokban (például kép- vagy szövegfelismerésben) gyakran gyengébbek.
2. Bonyolult, „fekete doboz” modelleknél utólagos magyarázatot készítenek: megbecsülik, hogy az egyes bemenő adatok (például jövedelem, életkor, tartozás) mennyivel tolták el az eredményt egyik vagy másik irányba.
3. Gyakori módszer a „mi lett volna, ha” típusú (kontrafaktuális) magyarázat: a rendszer megmutatja, mi az a legkisebb változás, amellyel más döntés született volna, például „ha a havi jövedelmed 40 ezer forinttal magasabb, a hitelt megkapod”.
4. Képeknél és szövegeknél kiemelik, hogy a modell mire „figyelt”: a röntgenfelvétel mely foltjára vagy a levél mely szavaira alapozta az ítéletét. Ezek a kiemelések is csak közelítések.
5. A nagy nyelvi modelleknél a kutatók a belső működést is vizsgálják, vagyis azt, hogy a hálózat mely részei milyen fogalmakat képviselnek. Ez a terület még kutatási szakaszban van.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A magyarázat lehet meggyőző és mégis pontatlan, ezért a jól hangzó indoklás önmagában nem bizonyítja, hogy a döntés helyes vagy igazságos.
• Az érthetőség és a teljesítmény között néha kompromisszumot kell kötni: képek és szövegek feldolgozásában a legpontosabb modellek a legnehezebben átláthatók. Táblázatos adatoknál (például hitelbírálatnál) viszont egy egyszerű, átlátható modell sokszor ugyanolyan jó.
• Ugyanarra a döntésre különböző magyarázó módszerek eltérő okokat adhatnak, és nincs egységes mérce arra, melyik a „jó” magyarázat.
• A magyarázat megmutatja, mi befolyásolta a döntést, de azt nem, hogy ez a szempont jogos volt-e; ezt továbbra is embernek kell megítélnie.

Hasonló, de nem ugyanaz

• átláthatóság – Az átláthatóság azt jelenti, hogy az érintettek (felhasználók, hatóságok) számára dokumentált és hozzáférhető, hogyan épült a rendszer, milyen adatokból tanult, és mire képes. A magyarázhatóság ennél szűkebb: azt jelenti, hogy egy konkrét döntés oka érthető.
• értelmezhetőség – A két szót sokan szinonimaként használják. Ahol megkülönböztetik őket, ott az értelmezhetőség a modell belső működésének megértésére irányul, a magyarázhatóság viszont megelégszik azzal, hogy a döntésről ember számára használható indoklást ad.
• emberi felügyelet – Az emberi felügyelet azt írja elő, hogy ember ellenőrizze és felülbírálhassa a gépet, a magyarázhatóság pedig az ehhez szükséges információt adja meg.

Kapcsolódó fogalmak

Röviden a története

A gépi döntések megindoklásának igénye már az 1970-es, 80-as évek szakértői rendszereinél megjelent. A mai értelmű fogalmat és az XAI rövidítést az amerikai DARPA kutatási ügynökség 2016-ban meghirdetett Explainable AI programja tette széles körben ismertté, amikor a mélytanuló modellek átláthatatlansága gyakorlati gonddá vált.

Hol tart most

A pénzügyi és egészségügyi rendszerekben a magyarázó eszközök használata elterjedt. Az EU AI-rendelete a nagy kockázatú rendszereknél átláthatósági követelményeket ír elő, és az érintetteknek jogot ad arra, hogy magyarázatot kérjenek a róluk hozott döntésről. Ezek a szabályok azonban még nem alkalmazandók: az eredeti 2026. augusztusi kezdetet az EU elhalasztotta, a legtöbb nagy kockázatú rendszernél 2027 decemberére. A nagy nyelvi modellek és az agentek belső működésének megbízható megmagyarázása még nyitott kutatási kérdés.

Állapot: 2026. november

Más nevei

magyarázható MI · magyarázható mesterséges intelligencia · megmagyarázható AI · explainable AI · explainable artificial intelligence · XAI · explainability · magyarázhatóság

Források

• Wikipedia: Explainable artificial intelligence
• NIST IR 8312: Four Principles of Explainable Artificial Intelligence

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.