tokenizálás

angolul: tokenization

alapelterjedt

A tokenizálás az a lépés, amikor egy program a szöveget apró, sorszámozott darabokra – tokenekre – bontja, mert a nyelvi modell csak ilyen egységekkel tud dolgozni.

Érthetően

A nyelvi modell nem betűket és nem szavakat lát, hanem számokat. A tokenizálás az az átalakítási lépés, amely a beírt szövegedet darabokra vágja, és minden darabnak egy sorszámot ad. Egy token lehet egész szó, szótöredék, írásjel vagy akár egyetlen betű.

Olyan ez, mint a LEGO: a modellnek van egy rögzített, jellemzően több tízezer vagy néhány százezer elemből álló készlete, és minden szöveget ezekből rak ki. A gyakori szavakhoz van kész elem, a ritkákat több kisebb kockából kell összeállítani. Így a modell olyan szót is le tud írni, amellyel korábban soha nem találkozott.

Azért érdemes tudnod róla, mert az AI-szolgáltatások a háttérben tokenben számolnak: ebben mérik a válasz hosszát és azt, hogy mennyi szöveget tud a modell egyszerre figyelembe venni, a fejlesztői (API-) hozzáférésnél pedig az árat is. A ragozó magyar nyelv szavai jellemzően több tokenre esnek szét, mint az angolok, ezért ugyanaz a szöveg magyarul általában több tokenbe kerül.

Hogyan működik

A modell készítői a tanítás előtt hatalmas szövegmennyiségen megszámolják, mely betűsorozatok fordulnak elő gyakran, és ezekből összeállítanak egy rögzített szótárat, amely jellemzően több tízezer vagy néhány százezer tokenből áll.
Amikor beírsz valamit, a tokenizáló program a szöveget a szótár elemeire vágja: a gyakori szó egyben marad, a ritka vagy hosszú szó több töredékre bomlik.
Minden token helyére a szótárbeli sorszáma kerül, így a mondatodból számsor lesz – a modell ezt kapja meg.
A modell a számsor alapján megjósolja a következő tokent, majd az azt követőt, és így tovább, amíg a válasz el nem készül.
A végén a folyamat megfordul: a kiadott sorszámokból a program visszaalakítja az olvasható szöveget, amelyet a képernyőn látsz.

Példa a mindennapokból

Hosszú dokumentumot másolsz be egy csevegőrobotba, és azt az üzenetet kapod, hogy a szöveg túl hosszú, vagy a válasz a mondat közepén megszakad. Ilyenkor többnyire a tokenkeretbe ütköztél, nem oldalszámkorlátba: a rendszer tokenben számolta meg, mennyi fér bele.

Kit érint

mindenkiA csevegőrobotok a háttérben tokenben számolják, mekkora szöveget tudnak egyszerre kezelni, ezért ettől függ, milyen hosszú dokumentummal és beszélgetéssel dolgozhatsz.

vállalkozó, vezetőA fejlesztői (API-) hozzáférés díját jellemzően tokenre számolják, és a fix díjas előfizetések használati kerete is ettől függ, így a költségeidet csak akkor tudod megbecsülni, ha tudod, hány tokent fogyaszt egy feladat.

fejlesztőA tokenszám határozza meg, mi fér a modell kontextusablakába, mennyibe kerül egy hívás, és meddig tud egy agent megszakítás nélkül dolgozni. → Kód

Gyakori félreértés

TévhitEgy token egy szónak felel meg.

ValójábanA token gyakran csak szótöredék: angolul egy token átlagosan nagyjából háromnegyed szó, magyarul egy hosszabb, ragozott szó jellemzően több tokenre esik szét. Az írásjel is tokennek számít, a szóköz pedig többnyire a következő szó tokenjéhez tartozik.

Korlátok és kockázatok

Minden modellcsaládnak saját tokenizálója van – sőt ugyanannak a szolgáltatónak az újabb modellje is számolhat másképp –, ezért ugyanaz a szöveg hol több, hol kevesebb tokent jelent, és a tokenárakat nem lehet egy az egyben összevetni.
A magyar szöveg általában több tokenbe kerül, mint ugyanaz angolul, vagyis drágább, és hamarabb betelik vele a keret.
Mivel a modell darabokat lát, nem betűket, hibázhat betűszámlálásban, szó visszafelé írásában vagy rímek, szójátékok kezelésében; az újabb modellek ebben sokat javultak, de a hiba nem tűnt el.
A tokenszámot előre csak becsülni tudod; pontos értéket a szolgáltató saját számlálója ad.

Hasonló, de nem ugyanaz

eszköztokenizáció (pénzügy, blokklánc) – Ott egy vagyontárgyhoz – például ingatlanhoz vagy értékpapírhoz – fűződő jogokat képeznek le digitális tokenné; ennek a szövegfeldolgozáshoz semmi köze.
bankkártyaadatok tokenizálása – Adatbiztonsági eljárás, amelyben a kártyaszámot egy önmagában értéktelen helyettesítő kódra cserélik, hogy a kereskedőnek ne kelljen a valódi kártyaszámot tárolnia és továbbítania.
beágyazás – A tokenizálás csak feldarabol és sorszámoz, a beágyazás a következő lépés, amely a sorszámokhoz jelentést hordozó számsorokat rendel.

Kapcsolódó fogalmak

Tágabb

természetesnyelv-feldolgozás, nagy nyelvi modell

Szűkebb

bájtpár-kódolás, szótöredék-alapú tokenizálás

Rokon

token, kontextusablak, beágyazás, prompt, tokenalapú árazás

Röviden a története

A szöveg szavakra és írásjelekre bontása a számítógépes nyelvészet régi alaplépése. A mai nyelvi modellekben elterjedt bájtpár-kódolást Philip Gage írta le 1994-ben adattömörítési eljárásként, majd Rico Sennrich és munkatársai 2015-ben alkalmazták gépi fordításra, a ritka szavak szótöredékekre bontására.

Hol tart most

2026 végén gyakorlatilag minden nagy nyelvi modell tokenizálással dolgozik, és a korlátaik, valamint a fejlesztői hozzáférés ára is tokenben van megadva. Kutatások folynak a közvetlenül bájtokkal vagy karakterekkel dolgozó modellekről, de a szótöredék-alapú megoldás maradt az uralkodó.

Állapot: 2026. november

A hírekben

2 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

Az EBA, az ESMA és az EIOPA 2027-es munkaprogramjában az AI és a tokenizáció2026. okt. 12. · Pénz
Az ESMA 2027-es felügyeleti prioritása az AI és a tokenizáció2026. szept. 23. · Pénz

Más nevei

tokenizálás · tokenizáció · tokenekre bontás · tokenization · tokenisation · tokenizer · tokenizáló · BPE

Források

Sennrich, Haddow, Birch: Neural Machine Translation of Rare Words with Subword Units (arXiv, 2015)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.