Fogalomtár › Alapok

következő token előrejelzése

angolul: next-token prediction

A nyelvi modell alapművelete: az eddigi szöveg alapján megbecsüli, melyik szódarab mekkora eséllyel következik, ebből kiválaszt egyet, és így építi fel a válaszát darabonként.

Érthetően

Ha azt mondom: „Aki másnak vermet ás, maga esik…”, te gondolkodás nélkül folytatod: „bele”. A nyelvi modell ugyanezt csinálja, csak sokkal nagyobb léptékben. Rengeteg szöveget olvasott el, és ebből megtanulta, hogy egy adott szövegkezdet után mi szokott következni.

A token a szöveg kis építőköve: lehet egy egész szó, egy szótöredék vagy egy írásjel. A modell egyszerre mindig csak egyetlen tokent választ, hozzáírja a szöveghez, és újra felteszi magának a kérdést: mi jön most? A hosszú válasz, a vers és a programkód is így készül, darabról darabra.

A telefonod billentyűzete is szavakat ajánl, de egy kicsi modellel, és csak a közvetlen előzményt nézi. A nagy nyelvi modell az egész addigi beszélgetést figyelembe veszi, ezért tud összefüggő, a kérdésedhez illő szöveget írni.

A feladat egyszerűnek hangzik, de ahhoz, hogy valaki jól folytasson egy orvosi leírást, egy jogi érvelést vagy egy számítást, sok mindent kell tudnia a világról. Ezért lett ebből az egyetlen gyakorlatból ennyire sokoldalú eszköz.

Hogyan működik

1. A rendszer a beírt szöveget tokenekre bontja, és mindegyiket számokká alakítja, mert a modell csak számokkal tud dolgozni.
2. A modell végigszámolja az egész eddigi szöveget, és a szókészlete minden egyes tokenjéhez valószínűséget rendel: mekkora eséllyel ez következik.
3. Ebből a listából kiválaszt egyet. A beállítástól függően nem mindig a legvalószínűbbet, mert egy kis véletlen is van benne, ezért kaphatsz ugyanarra a kérdésre kétszer eltérő választ.
4. A kiválasztott tokent hozzáfűzi a szöveghez, és a meghosszabbított szövegre megismétli a lépést. Ez addig folytatódik, amíg a modell egy külön „vége” jelet nem választ, vagy a válasz el nem éri a hosszkorlátot.
5. A tanítás ugyanez a játék fordítva: a modell meglévő szövegekben tippel a folytatásra, és a tippek pontatlansága alapján a belső beállításait automatikusan, apró lépésekben igazítják. A csevegőrobotokat ezután további tanítással (például emberi visszajelzések alapján) hangolják arra, hogy segítőkész választ adjanak, ne csak folytassák a szöveget.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A modell a valószínű folytatást keresi, nem az igazat: ha a hihető és a helyes eltér, meggyőző hangon is mondhat valótlant (ezt hívják hallucinációnak).
• Ugyanarra a kérdésre a beépített véletlen miatt eltérő válaszokat kaphatsz, ezért egyetlen válaszból ne vonj le végleges következtetést.
• A már leírt tokent a modell nem tudja kitörölni, ezért egy korai hiba végigvonulhat az egész válaszon. A „gondolkodó” modellek legfeljebb később, a szövegben javíthatják ki magukat.
• A pontos számolás és a betűnkénti feladatok (például betűk megszámolása egy szóban) részben azért nehezebbek neki, mert szódarabokban dolgozik, nem betűkben és számjegyekben. Ezért sok rendszer ilyenkor számológépet vagy programkódot hív segítségül.

Hasonló, de nem ugyanaz

• automatikus szövegkiegészítés – A telefonos szóajánló ugyanarra az elvre épül, de egy kicsi modellel és rövid előzménnyel dolgozik, míg a nagy nyelvi modell az egész beszélgetést figyelembe veszi.
• tokenizálás – A tokenizálás csak a szöveg feldarabolása építőkövekre, az előrejelzés pedig az a lépés, amely eldönti, melyik építőkő következzen.
• keresés – A kereső meglévő dokumentumokat talál meg és mutat fel, a nyelvi modell viszont új szöveget állít elő, amely jellemzően nem szó szerinti másolat. Sok csevegőrobot a kettőt kombinálja: keres, majd a találatok alapján fogalmaz.

Kapcsolódó fogalmak

Röviden a története

Claude Shannon 1948-ban megjelent kommunikációelméleti munkájában már az előző betűk és szavak statisztikája alapján állított elő angolra emlékeztető szöveget. Yoshua Bengio és társai 2003-ban neurális hálót használtak a következő szó valószínűségének becslésére. A 2017-ben bemutatott transzformer architektúra a tanítás párhuzamosításával lehetővé tette, hogy ugyanezt sokkal nagyobb szövegmennyiségen végezzék. Erre épültek a 2018-tól megjelenő GPT-modellek is.

Hol tart most

2026 végén a csevegőrobotok, kódoló agentek és szövegíró eszközök túlnyomó többsége erre az elvre épül. Más megközelítések is léteznek, például a diffúziós nyelvi modellek, amelyek a szöveget egyszerre, fokozatos finomítással állítják elő. Ezek már néhány termékben is megjelentek, de a mindennapi használatban továbbra is a tokenről tokenre haladó módszer az uralkodó.

Állapot: 2026. november

Más nevei

következő token előrejelzése · következő token jóslása · következő szó előrejelzése · tokenpredikció · next-token prediction · next token prediction · next-word prediction · autoregresszív szöveggenerálás

Források

• Wikipedia: Large language model
• Bengio et al. (2003): A Neural Probabilistic Language Model, Journal of Machine Learning Research
• Vaswani et al. (2017): Attention Is All You Need

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.