figyelemmechanizmus

angolul: attention mechanism

haladóelterjedt

A figyelemmechanizmus az a módszer, amellyel egy AI-modell, például egy nyelvi modell, eldönti, hogy a bemenet (például egy szöveg) mely részei fontosak egy adott rész, például egy szó értelmezéséhez.

Érthetően

Amikor ezt olvasod: „A kutya nem ment át az úton, mert túl fáradt volt”, gondolkodás nélkül tudod, hogy a kutya volt fáradt, nem az út. A gépnek ez nem magától értetődő. A figyelemmechanizmus az az eljárás, amellyel a modell minden szónál megnézi a többi szót, és eldönti, melyik mennyit számít a megértéshez.

Olyan ez, mint amikor egy zsúfolt vendéglőben beszélgetsz: mindenkit hallasz, de csak arra az egy-két hangra hangolódsz rá, amelyik éppen fontos. A modell ugyanígy „hangosítja fel” a lényeges szavakat és halkítja le a többit, ráadásul minden egyes szónál újra és másképp.

A korábbi rendszerek szóról szóra haladtak a szövegben, és mire a végére értek, az eleje elhalványult bennük. A figyelemmechanizmussal a modell közvetlenül visszanyúlhat a szöveg bármely korábbi részéhez, így a távoli összefüggéseket is megtalálja. Ezért tud ma egy csevegőrobot hosszú levelet összefoglalni vagy egy sok fordulós beszélgetés fonalát tartani.

Hogyan működik

A modell a szöveget apró egységekre, tokenekre bontja, és mindegyiket számsorrá alakítja, amely a jelentését és a szövegbeli helyét írja le.
Minden token „kérdést” tesz fel a többinek: ki segít engem értelmezni? A modell páronként kiszámolja, mennyire illik össze két token.
Ezekből az értékekből súlyok lesznek: a fontos szavak nagy súlyt kapnak, a lényegtelenek szinte nullát.
A token új, gazdagabb jelentése a többi token súlyozott keverékéből áll össze, így a „fáradt” szóba beépül, hogy a kutyáról van szó.
Ez sok párhuzamos „figyelemfejjel” és sok egymásra épülő rétegben megismétlődik. Az egyes fejek tanulás közben más-más mintázatokra érzékenyek, például nyelvtani kapcsolatokra vagy visszautalásokra, de ez a munkamegosztás nem éles és nem előre beállított.

Példa a mindennapokból

Beírod egy fordítóprogramba: „Vár a vár előtt.” A program azért tudja, hogy az első „vár” ige, a második pedig épület, mert a figyelemmechanizmus a mondat többi szavából kikövetkezteti, melyik jelentés illik oda. Ugyanez történik, amikor a csevegőrobot a tizedik kérdésednél is tudja, kire gondolsz az „ő” szóval.

Kit érint

mindenkiMinden mai csevegőrobot, fordító és szövegíró eszköz erre épül, így ettől függ, mennyire érti meg, amit kérsz tőle.

munkavállalóHa hosszú dokumentumot adsz a modellnek, a figyelem megoszlik, ezért érdemes a legfontosabb kérést világosan, az elején vagy a végén megfogalmaznod. → Munka és HR

fejlesztőA figyelem számítási igénye szabja meg, mekkora szöveget, milyen gyorsan és milyen áron tud feldolgozni egy modell vagy egy agent. → Kód

szülő, diák, tanárAki érti, hogy a gép súlyoz és nem „megért”, az kritikusabban olvassa a válaszait, és jobban tud tanulni vele. → Oktatás és család

Gyakori félreértés

TévhitA figyelemmechanizmus azt jelenti, hogy a gép úgy figyel és ért, ahogyan az ember.

ValójábanA név csak hasonlat: valójában matematikai súlyozásról van szó, amely azt számolja ki, mely szavak mennyire befolyásolják egymást. Tudatosság vagy szándék nincs mögötte.

Korlátok és kockázatok

Nagyon hosszú szövegnél a figyelem „felhígul”: a modell elsiklhat a közepén megbújó részletek fölött, ezért a fontos dolgokat érdemes kiemelned.
A számítási igény a szöveg hosszával meredeken nő, emiatt a hosszú bemenetek feldolgozása lassabb és drágább.
A figyelmi súlyok nem adnak megbízható magyarázatot arra, miért válaszolt úgy a modell, ahogy; az, hogy mire „nézett”, még nem indoklás.
A figyelem csak arra irányulhat, ami a bemenetben ott van: ha egy adat hiányzik, a modell nem veszi észre a hiányt, hanem kitalálhat helyette valamit.

Hasonló, de nem ugyanaz

transzformer – A transzformer a teljes modellfelépítés, a figyelemmechanizmus ennek a legfontosabb alkatrésze, nagyjából úgy, mint a motor az autóban.
kontextusablak – A kontextusablak azt adja meg, mennyi szöveg fér be egyszerre a modellbe, a figyelemmechanizmus pedig azt, hogy ezen belül mire mekkora súlyt tesz.
emberi figyelem – Az ember tudatosan és korlátozott kapacitással figyel, a modell viszont pusztán számolással veti össze a szavakat egymással. A szöveget író nyelvi modelleknél minden szó csak az őt megelőzőkkel.

Kapcsolódó fogalmak

Tágabb

neurális háló, mélytanulás, természetesnyelv-feldolgozás

Szűkebb

önfigyelem, többfejű figyelem, keresztfigyelem

Rokon

transzformer, nagy nyelvi modell, kontextusablak, token, beágyazás

Röviden a története

A mai értelemben vett figyelemmechanizmust 2014-ben Dzmitry Bahdanau, Kyunghyun Cho és Yoshua Bengio mutatta be a gépi fordítás javítására. Ekkor még a szöveget szóról szóra feldolgozó hálózatokat egészítette ki. 2017-ben a Google kutatóinak „Attention Is All You Need” című tanulmánya megmutatta, hogy egy modell ilyen szóról szóra haladás nélkül, alapvetően a figyelemre építve is működik: így született meg a transzformer, a mai nyelvi modellek alapja.

Hol tart most

2026 végén a jelentős nyelvi, kép- és hangmodellek túlnyomó többsége figyelemmechanizmusra épül. Egyes újabb modellek a figyelmet olcsóbb rétegtípusokkal, például állapottér-modellekkel kombinálják. A kutatás főleg arra irányul, hogyan lehet a figyelmet olcsóbbá és hosszú szövegeken is megbízhatóbbá tenni.

Állapot: 2026. november

Más nevei

figyelemmechanizmus · figyelmi mechanizmus · attention mechanism · attention · figyelmi réteg

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.