transformer

haladóelterjedt

A transformer az a neurálisháló-felépítés, amely a szöveg minden részét egyszerre, egymáshoz viszonyítva vizsgálja; erre épülnek a mai nagy nyelvi modellek.

Érthetően

A transformer nem termék és nem program, hanem tervrajz: egy módszer arra, hogyan épüljön fel egy mesterséges neurális háló. A ChatGPT, a Claude és a Gemini mögötti modellek mind erre a tervrajzra épülnek. A GPT névben a T betű is ezt jelenti (Generative Pre-trained Transformer).

Képzeld el, hogy egy hosszú mondatot kell megértened. A régebbi rendszerek úgy olvastak, mint aki egy kulcslyukon át, szavanként halad, és mire a mondat végére ér, az elejét félig elfelejti. A transformer inkább úgy dolgozik, mint aki az egész oldalt egyszerre látja, és minden szónál megnézi, melyik másik szó segít értelmezni. Ezt a képességet hívják figyelemnek.

Ettől lett jó a hosszú összefüggések követésében: sokkal jobb eséllyel találja el, hogy a bekezdés végén álló „ő” kire utal a bekezdés elejéről. Mivel a szöveg részeit párhuzamosan dolgozza fel, sokkal gyorsabban tanítható hatalmas adatmennyiségen, mint az elődei. Ez a két tulajdonság tette lehetővé a mai nagy modelleket.

Hogyan működik

A szöveget apró darabokra, tokenekre bontja, és mindegyiket számsorrá alakítja, amely a jelentését írja le.
Mivel mindent egyszerre lát, minden token kap egy jelzést arról is, hányadik helyen áll, különben a szórend elveszne.
A figyelmi lépésben minden token megvizsgálja a többit, és súlyozza, melyik mennyire fontos a saját értelmezéséhez. A szöveget író modelleknél csak az előtte álló tokeneket nézheti, hiszen a későbbiek még nem léteznek.
Ez a lépés sok rétegben ismétlődik. Nagy vonalakban az alsó rétegek inkább a nyelvtani kapcsolatokat, a felsők az elvontabb jelentést ragadják meg.
A végén a modell kiszámolja, melyik token mekkora valószínűséggel következhet, ezek közül kiválaszt egyet (nem mindig a legvalószínűbbet), majd a kibővült szöveggel megismétli a folyamatot.

Példa a mindennapokból

Beírod a fordítóba: „A kutya nem ment át az úton, mert túl fáradt volt.” Németre fordításkor a programnak döntenie kell: a „fáradt” a kutyára vonatkozik (der Hund, tehát „er”) vagy az útra (die Straße, tehát „sie”). A transformer jó eséllyel helyesen dönt, mert a „fáradt” szót az egész mondattal együtt értelmezi. Hasonló történik, amikor egy csevegőrobot a beszélgetés elején említett részletre húsz üzenettel később is helyesen hivatkozik, feltéve, hogy az még belefér a kontextusablakba.

Kit érint

mindenkiSzinte minden csevegőrobot, fordító és szövegíró AI-eszköz, amit használsz, transformerre épül, így az erősségeik és a hibáik is ebből fakadnak.

fejlesztőA modellek korlátai, például a kontextusablak mérete és a tokenenkénti költség, közvetlenül a transformer működéséből következnek. → Kód

vállalkozó, vezetőHa érted az alapelvet, reálisabban ítéled meg, mit várhatsz egy nyelvi modelltől vagy egy rá épülő agenttől, és mit nem.

szülő, diák, tanárSegít elmagyarázni, miért fogalmaz a gép magabiztosan akkor is, amikor téved. → Oktatás és család

Gyakori félreértés

TévhitA transformer úgy érti a szöveget, ahogy az ember, hiszen „figyel” rá.

ValójábanA figyelem itt matematikai súlyozás: a modell azt számolja ki, melyik szövegrész mennyire számít a másik értelmezésénél. Ebből meggyőző szöveg születik, de ez nem garancia arra, hogy az állítás igaz.

Korlátok és kockázatok

Egyszerre csak korlátozott mennyiségű szöveget lát át (ez a kontextusablak); ami ebből kilóg, azt nem veszi figyelembe.
Valószínű folytatást állít elő, nem a tényeket ellenőrzi, ezért magabiztosan írhat valótlanságot is.
A hosszabb szöveg feldolgozása aránytalanul több számítást kíván, ami a nagy modelleknél jelentős energia- és költségigénnyel jár.
A több milliárd beállított érték miatt még a kutatók is csak részben tudják megmagyarázni, miért ad a modell egy adott választ.

Hasonló, de nem ugyanaz

nagy nyelvi modell – A transformer a felépítés, a nagy nyelvi modell az ebből épített és hatalmas szövegmennyiségen betanított kész rendszer.
GPT – A GPT az OpenAI transformerre épülő modellcsaládjának neve, míg a transformert sok más cég modelljei is használják.
neurális háló – A neurális háló a tágabb gyűjtőfogalom, a transformer ennek egyik, ma legelterjedtebb fajtája.

Kapcsolódó fogalmak

Tágabb

neurális háló, mélytanulás, gépi tanulás, mesterséges intelligencia

Szűkebb

GPT, BERT, vision transformer

Rokon

figyelmi mechanizmus, nagy nyelvi modell, token, kontextusablak, beágyazás

Röviden a története

A transformert a Google kutatói mutatták be 2017-ben az „Attention Is All You Need” című tanulmányban, eredetileg gépi fordításra. 2018-ban jelent meg rá építve a BERT és az első GPT modell, és innen indult a nagy nyelvi modellek mai hulláma.

Hol tart most

2026 végén a transformer a nyelvi modellek uralkodó felépítése, és a kép-, hang- és videófeldolgozásban is széles körben használják. Egyes modellekben már megjelentek hibrid megoldások, amelyek a figyelmi rétegek egy részét más, olcsóbb rétegtípusra cserélik, de a tisztán alternatív felépítések egyike sem váltotta le a transformert.

Állapot: 2026. november

A hírekben

1 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

Az USA több gázt termel az AI áramigényére, az adatközpontok helyszíni termelést vizsgálnak2026. aug. 31. · Ipar

Más nevei

transformer · transzformer · Transformer · transformer architektúra · transzformer modell · transformer modell · transformer architecture · transformer model

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.