13. lapszám · nov. 2–8. 2026Kiadások · Fogalomtár · Archívum · Módszer · RSS · HU / ENG

Az AI-korszak hírei, hetente válogatva

Fogalomtár › Alapok

token

alapelterjedt

A token az a szövegdarabka (szó, szótöredék vagy írásjel), amelyekre bontva a nyelvi modell a szöveget feldolgozza és előállítja, és amelyben a használatát is mérik.

Érthetően

A nyelvi modell nem betűket és nem is egész szavakat lát, hanem apró szövegdarabokat: ezek a tokenek. Olyan ez, mint a LEGO: a modell minden mondatot előre gyártott kockákból rak össze. A gyakori szavak egyetlen kockát kapnak, a ritkábbak vagy hosszabbak több kisebből állnak össze.

A token egyben mértékegység is, ahogy a villanynál a kilowattóra. Tokenben adják meg, mekkora szöveget tud a modell egyszerre figyelembe venni, milyen hosszú választ adhat, és a szolgáltatók is többnyire tokenek alapján számláznak.

A token nem azonos a szóval. Angolban egy token nagyjából háromnegyed szó. Magyarul egy szó gyakran két-három vagy még több tokenre esik szét. Ennek oka főleg az, hogy a darabolás szótárát túlnyomórészt angol szövegeken állították össze, a magyar pedig sok toldalékkal ragoz. Ugyanaz a mondanivaló ezért magyarul általában több tokenbe kerül, mint angolul.

Hogyan működik

  1. Feldarabolás: amikor beírsz egy kérdést, egy tokenizáló nevű program a szöveget darabokra vágja. Ehhez egy előre rögzített, jellemzően több tízezer vagy százezer elemű „szótárt” használ.
  2. Számmá alakítás: minden token egy sorszámot kap, mert a modell valójában számokkal dolgozik, nem betűkkel. A modell belül minden sorszámhoz egy hosszú számsort rendel, amely a token jelentését hordozza.
  3. Jóslás: a modell az eddigi tokenek alapján kiszámolja, melyik token mekkora eséllyel következhet. Ezek közül választ egyet, többnyire a valószínűbbek közül, de nem mindig a legvalószínűbbet, és hozzáfűzi a szöveghez.
  4. Ismétlés: ezt a lépést tokenről tokenre megismétli, amíg el nem készül a válasz. Ezért látod a szöveget apránként megjelenni a képernyőn.
  5. Mérés: a rendszer összeszámolja a bemenő tokeneket (a kérdésed és a csatolt anyagok) és a kimenő tokeneket (a válasz). Ebből adódik a költség, és ez dönti el, belefér-e minden a modell keretébe.

Példa a mindennapokból

Feltöltesz egy hosszú szerződést egy csevegőrobotnak, és azt az üzenetet kapod, hogy a szöveg túl hosszú, vagy a beszélgetés elérte a korlátot. Ilyenkor nem az oldalszámmal van baj: a szöveged több tokenből áll, mint amennyit a modell egyszerre kezelni tud.

Kit érint

mindenkiA csevegőrobotok használati korlátait és azt, hogy mennyi szöveget tudnak egyszerre figyelembe venni, tokenben mérik, még ha ezt nem is látod.
vállalkozó, vezetőAz AI-szolgáltatások számlája jórészt a felhasznált tokenek számától függ, ezért a költségtervezéshez érteni kell ezt a mértékegységet.
fejlesztőA tokenkeret és a tokenár határozza meg, mennyi adatot adhatsz át a modellnek, és mennyibe kerül egy AI-agent futtatása. → Kód
szülő, diák, tanárHa tudod, hogy a modell szövegdarabkákból jósol, könnyebben megérted, miért téved néha betűzésben, számolásban vagy szószámlálásban. → Oktatás és család

Gyakori félreértés

TévhitEgy token pontosan egy szót jelent.
ValójábanA token lehet egész szó, szótöredék, írásjel vagy akár egyetlen betű is. Magyar szövegben egy szó gyakran több tokenből áll.

Korlátok és kockázatok

Hasonló, de nem ugyanaz

Kapcsolódó fogalmak

Tágabb

nagy nyelvi modell, generatív mesterséges intelligencia, természetesnyelv-feldolgozás

Szűkebb

bemeneti token, kimeneti token, gondolkodási token

Rokon

tokenizálás, kontextusablak, prompt, beágyazás, tokenár

Röviden a története

A szöveg tokenekre bontása a számítógépes nyelvészet régi eljárása. A mai nyelvi modellek szótöredékes darabolása nagyrészt a bájtpár-kódolásra (BPE) vagy annak változataira épül. Ezt az eljárást Philip Gage írta le 1994-ben adattömörítésre, gépi fordításra pedig Rico Sennrich és társai alkalmazták 2015-ben.

Hol tart most

2026 végén a token az AI-ipar általános mértékegysége: ebben adják meg a modellek árát, a kontextusablak méretét és a használati korlátokat. Az agentek terjedésével a tokenfogyasztás a cégek egyik fő AI-költségtétele lett.

Állapot: 2026. november

A hírekben

35 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

Más nevei

token · tokenek · tokens · szövegegység · szótöredék · LLM-token · input token · output token

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.