gondolkodási token
angolul: reasoning tokens / thinking tokens
A gondolkodási token az a szövegegység, amelyet a nyelvi modell a végső válasz előtt, a feladat lépésenkénti átgondolására használ fel, és amelyért általában fizetni kell.
Érthetően
Amikor matekdolgozatot írsz, a végeredmény mellett ott a piszkozatlap is: azon számolsz, próbálkozol, áthúzol. A gondolkodási tokenek a nyelvi modell piszkozatlapja. A modell előbb „magában” végigírja a gondolatmenetet, és csak utána fogalmazza meg a választ, amit te látsz.
A token a szöveg apró egysége (nagyjából egy szótöredék), ebben mérik a modell munkáját és az árát is. A gondolkodási tokenek ugyanilyen egységek, csak nem a válaszba kerülnek, hanem az azt megelőző töprengésbe. Ettől lesz a modell jobb a többlépéses feladatokban: számolásban, tervezésben, programozásban, bonyolult döntésekben.
A pontosabb válaszért lassabb működéssel és magasabb költséggel fizetsz. Egy egyszerű kérdésnél a hosszú töprengés pazarlás, egy nehéz feladatnál viszont megtérül. Ezért sok szolgáltatásban beállítható, mennyit gondolkodjon a modell, máshol pedig a modell maga dönti el a feladat nehézsége alapján.
Hogyan működik
- Megkapja a kérdésedet a modell, és eldönti (vagy a beállítás előírja neki), hogy mennyi előzetes gondolkodásra van szükség.
- A válasz előtt belső szöveget ír: részekre bontja a feladatot, kipróbál megoldási utakat, ellenőrzi és javítja a saját lépéseit. Ez a szöveg áll gondolkodási tokenekből.
- Erre a belső szövegre támaszkodva megírja a végső választ, amely már rendes kimeneti tokenekből áll.
- A gondolatmenetet a szolgáltató vagy elrejti, vagy csak rövid összefoglalót mutat belőle, néhány rendszerben pedig teljes egészében elolvasható.
- A számlázás a gondolkodási tokeneket jellemzően kimeneti tokenként számolja el, és azok a modell egyszerre kezelhető szövegmennyiségéből (a kontextusablakból) is helyet foglalnak.
Példa a mindennapokból
Megkérdezed a csevegőrobotot, melyik hitelajánlat éri meg jobban, és a képernyőn fél percig az áll: „Gondolkodik…”. Ilyenkor a modell gondolkodási tokeneket használ: a háttérben végigszámolja a változatokat, mielőtt választ ad. Ha egy cég ugyanezt programból hívja meg, a számlán ez a láthatatlan rész is megjelenik.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A több gondolkodás nem garancia a helyes válaszra: a modell hosszú töprengés után is tévedhet, csak meggyőzőbben.
- A gondolkodási tokenek növelik a költséget és a várakozási időt, egyszerű kérdéseknél ezért feleslegesek.
- A gondolatmenetet gyakran nem vagy csak kivonatosan látod, így nehéz ellenőrizni, mire ment el a kifizetett mennyiség.
- Ha a gondolkodás túl sok helyet foglal el a keretből, a végső válasz csonka maradhat vagy el sem készül.
Hasonló, de nem ugyanaz
- kimeneti token – Technikailag a gondolkodási token is a modell által előállított kimenet, és a számlán is annak számít. A különbség az, hogy nem kerül bele a neked megjelenő válaszba, hanem a válasz előtti belső munkához tartozik.
- gondolatlánc (chain-of-thought) – A gondolatlánc maga a módszer, vagyis a lépésenkénti okoskodás, a gondolkodási token pedig az a mértékegység, amelyben ennek terjedelmét és árát mérik.
- kontextusablak – A kontextusablak a modell teljes „munkaasztala”, a gondolkodási tokenek csak az egyik dolog, ami helyet foglal rajta.
Kapcsolódó fogalmak
token, nagy nyelvi modell, következtetés (inferencia)
gondolkodási keret, gondolkodási összefoglaló
gondolatlánc, érvelő modell, kimeneti token, kontextusablak, tokenalapú árazás
Röviden a története
A lépésenkénti okoskodás, a gondolatlánc ötletét a Google kutatói 2022-ben írták le. Külön számlázott „reasoning token” először 2024 szeptemberében jelent meg, az OpenAI o1 modelljével. 2024 végétől és 2025 folyamán a többi nagy fejlesztő is bevezette a maga változatát: a Google a Gemini „thinking” modelljeit, a DeepSeek az R1-et, az Anthropic pedig a „kiterjesztett gondolkodást”.
Hol tart most
2026 végén a vezető nyelvi modellek szinte mindegyike tud a válasz előtt gondolkodni, és a mértéke többnyire állítható, vagy a modell maga igazítja a feladat nehézségéhez. A kódoló és más önállóan dolgozó agenteknél ezek a tokenek a költség jelentős részét adhatják.
Más nevei
gondolkodási tokenek · érvelési token · következtetési token · reasoning token · reasoning tokens · thinking token · thinking tokens · extended thinking
Források
- Wei et al.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv, 2022)
- OpenAI API dokumentáció – Reasoning models
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.