Fogalomtár › Nyelvi modellek

mechanisztikus interpretálhatóság

angolul: mechanistic interpretability

Kutatási terület, amely a mesterséges intelligencia belső működését fejti vissza: azt keresi, a modell mely részei milyen számítással hozzák létre a választ.

Érthetően

Egy nyelvi modellt nem úgy írnak meg, mint egy hagyományos programot: rengeteg szövegen tanítják, és a tudása számok milliárdjaiban rögzül. A készítői sem tudják pontosan megmondani, miért éppen azt válaszolja, amit. A mechanisztikus interpretálhatóság ezt a „fekete dobozt” próbálja felnyitni.

Olyan ez, mint amikor egy órás szétszed egy ismeretlen szerkezetet. Nem elég neki, hogy az óra pontosan jár: azt akarja tudni, melyik fogaskerék melyiket hajtja. A kutatók ugyanígy keresik a modellben azokat a belső „alkatrészeket”, amelyek egy-egy fogalmat vagy gondolatmenet-lépést hordoznak.

Ez azért hasznos, mert így jobban ellenőrizhető, hogy a modell tényleg azért ad-e jó választ, amiért hisszük. A cél az, hogy a rejtett hiba, az elfogultság vagy a megtévesztő viselkedés kiderüljön, mielőtt a rendszer fontos döntésekbe szól bele. Ez ma még csak részben sikerül.

Abban más, mint a szokásos magyarázó módszerek, hogy nem a modellt kérdezi a saját indokairól, és nem is csak a bemenet és a kimenet kapcsolatát figyeli. Magát a belső számítást vizsgálja, mint egy agykutató az idegsejtek működését.

Hogyan működik

1. A kutatók futás közben rögzítik a modell belső jeleit, vagyis azt, hogy egy adott szöveg feldolgozásakor a mesterséges neuronok mennyire aktívak.
2. Egy neuron gyakran több, egymástól független dologra is reagál, ezért segédmodellel (például ritka autoenkóderrel) a jeleket tisztább, egyenként értelmezhető egységekre, úgynevezett jellemzőkre bontják.
3. Megnézik, mi kapcsolja be az egyes jellemzőket: van, amelyik egy városnévre, van, amelyik a hízelgésre vagy a programhibára aktiválódik.
4. Feltérképezik, hogyan épülnek egymásra a jellemzők, vagyis milyen áramkörön keresztül jut el a modell a kérdéstől a válaszig.
5. Végül kísérlettel ellenőriznek: mesterségesen felerősítenek vagy kikapcsolnak egy jellemzőt, és megfigyelik, a várt módon változik-e a modell viselkedése.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A mai módszerek a modell működésének csak egy töredékét magyarázzák meg, a teljes megértéstől még messze vagyunk.
• A feltárt jellemzők értelmezése emberi olvasat, amely tévedhet vagy túlegyszerűsíthet.
• Az elemzés nagyon számítás- és munkaigényes, a legnagyobb modellekre egyelőre csak részlegesen végezhető el.
• Ha egy cég azt állítja, hogy a modellje átlátható, az még nem bizonyítja, hogy biztonságos; kérdezz rá, pontosan mit vizsgáltak meg.

Hasonló, de nem ugyanaz

• magyarázható mesterséges intelligencia – A magyarázható AI tágabb cél, amely gyakran megelégszik azzal, hogy egy döntéshez érthető indoklást ad, a mechanisztikus megközelítés viszont a tényleges belső mechanizmust tárja fel.
• gondolatmenet-kiírás (chain-of-thought) – A gondolatmenet a modell által kiírt szöveg, amely nem biztos, hogy hűen tükrözi a belső számítást, míg az interpretálhatóság ezt a számítást közvetlenül vizsgálja.
• modellértékelés (benchmark) – Az értékelés azt méri, mit tud a modell kívülről nézve, az interpretálhatóság pedig azt, hogyan jut el belül az eredményig.

Kapcsolódó fogalmak

Röviden a története

A kifejezést Chris Olah kutató alkotta meg és terjesztette el. Munkatársaival 2020-ban a Distill folyóiratban megjelent „Zoom In: An Introduction to Circuits” című írásban fogalmazta meg, hogy a neurális hálók belső áramkörei visszafejthetők. Az Anthropic 2023-ban egy kis kísérleti modellen mutatta be, hogy ritka autoenkóderrel a neuronok jelei értelmezhető jellemzőkre bonthatók, 2024-ben pedig ezt már egy éles, nagy nyelvi modellen is elvégezte. 2025-ben olyan módszert is közölt, amely egy-egy válasz belső lépéseit térképként rajzolja ki.

Hol tart most

2026 végén a nagy AI-laborok és egyetemi csoportok aktív kutatási területe, amelynek eszközei már megjelennek a modellek kiadás előtti biztonsági vizsgálatában. A modellek teljes megértése azonban továbbra is távoli cél, és a módszerek megbízhatóságáról szakmai vita folyik.

Állapot: 2026. november

Más nevei

mechanisztikus interpretálhatóság · mechanisztikus értelmezhetőség · mechanistic interpretability · mech interp · neurális hálók visszafejtése

Források

• Wikipedia: Mechanistic interpretability
• Olah et al.: Zoom In: An Introduction to Circuits (Distill, 2020)
• Anthropic: Towards Monosemanticity: Decomposing Language Models With Dictionary Learning (2023)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.