teszt-idejű számítás (TTC)
angolul: test-time compute
Az a számítási munka, amelyet a nyelvi modell a kérdésed megválaszolása közben végez: minél többet „gondolkodhat”, annál jobb lehet a válasz.
Érthetően
Egy nyelvi modell életében két nagy szakasz van. Az elsőben betanítják: ez olyan, mint az iskolai évek. A másodikban használják: ez a vizsga, amikor te kérdezel, ő pedig válaszol. A teszt-idejű számítás az a munka, amelyet a modell ebben a második szakaszban, a te kérdéseden dolgozva végez el.
Gondolj egy sakkozóra. A tudása ugyanaz villámpartiban és hosszú játszmában is, mégis jobban játszik, ha lépésenként tíz perce van, mert több változatot tud végigszámolni. Ugyanígy a modell is pontosabb lehet, ha nem vágja rá azonnal a választ, hanem előbb lépésenként végiggondolja, több megoldást kipróbál, és ellenőrzi magát.
Ez azért fontos, mert korábban főleg nagyobb modellel és több tanítóadattal lehetett okosabb MI-t építeni. A teszt-idejű számítás egy másik út: ugyanaz a modell több gondolkodási idővel is jobb eredményt adhat. Az ára, hogy a válasz lassabb és drágább.
Hogyan működik
- Felteszed a kérdést, és a rendszer eldönti, vagy te állítod be, mennyi „gondolkodási keretet” kap a modell a válaszhoz.
- A modell nem a végső választ írja le azonnal, hanem előbb egy belső munkaszöveget készít: részekre bontja a feladatot, és lépésenként halad.
- Nehéz feladatnál több megoldási utat is kipróbálhat, a zsákutcákat elveti, a részeredményeket pedig ellenőrzi, akár kód futtatásával vagy kereséssel is.
- A végén a legjobbnak ítélt megoldást fogalmazza meg válaszként; a hosszú gondolkodásból te sokszor csak egy rövid összefoglalót látsz.
- A gondolkodás is szövegegységekben (tokenekben) mérhető számítás, ezért tovább vársz a válaszra, és fizetni is kell érte: fejlesztői használatnál a szolgáltató tokenenként számlázza, előfizetésnél a használati keretedet fogyasztja.
Példa a mindennapokból
A csevegőprogramban egy bonyolult hitel-összehasonlítást kérsz, és bekapcsolod a „gondolkodó” vagy „alapos” módot. A válasz nem két másodperc, hanem fél perc múlva érkezik, közben azt látod: „Gondolkodik…”. Cserébe a számítás nagyobb eséllyel lesz hibátlan.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Több gondolkodás több várakozást, magasabb költséget és nagyobb energiafogyasztást jelent.
- A haszon egy ponton túl csökken: a tízszer annyi számítás nem ad tízszer jobb választ.
- Amit a modell nem tud vagy rosszul tud, azt hosszú töprengéssel sem találja ki; friss vagy hiányzó információhoz forrás kell, nem idő.
- A megjelenített „gondolatmenet” gyakran csak kivonat, és nem feltétlenül tükrözi pontosan, hogyan jutott a modell a válaszhoz.
Hasonló, de nem ugyanaz
- betanítás – A betanítás egyszeri, előzetes tanulás, amely a modell tudását alakítja ki, a teszt-idejű számítás viszont minden egyes kérdésnél újra elvégzett munka.
- gondolatlánc (chain-of-thought) – A gondolatlánc egy konkrét módszer a lépésenkénti levezetésre, a teszt-idejű számítás pedig a tágabb elv, amelybe a keresés, a többszöri próbálkozás és az önellenőrzés is beletartozik.
- finomhangolás – A finomhangolás megváltoztatja magát a modellt, a teszt-idejű számítás a modellt érintetlenül hagyja, csak több munkát enged neki a válasz előtt.
Kapcsolódó fogalmak
következtetés (inferencia), nagy nyelvi modell, számítási kapacitás
gondolatlánc, kiterjesztett gondolkodás, gondolkodási keret, önellenőrzés
érvelő modell, token, betanítás, AI-agent, skálázás
Röviden a története
Az ötlet a játékprogramokból ered: a sakk- és goprogramok régóta a játszma közben keresik a legjobb lépést. A DeepMind AlphaGo programja 2016-ban úgy győzte le I Szedolt (Lee Sedol), hogy a betanított neurális hálóit játszma közbeni kereséssel ötvözte. A nyelvi modelleknél a 2022-ben leírt gondolatlánc-módszer készítette elő, széles körben pedig az OpenAI 2024 szeptemberében bemutatott o1 modellje (először o1-preview néven) tette ismertté.
Hol tart most
2026 végén a vezető nyelvi modellek szinte mindegyike kínál állítható gondolkodási szintet, és a csevegőprogramokban is megszokott a gyors és az alapos mód közti választás. A hosszan, önállóan dolgozó agentek teljesítménye nagyrészt erre épül, ezért a számítási igény súlypontja a betanításról egyre inkább a használat felé tolódik.
Más nevei
test-time compute · inference-time compute · test-time scaling · inference-time scaling · következtetés-idejű számítás · futásidejű számítás · gondolkodási idő · extended thinking
Források
- Snell et al.: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (arXiv, 2024)
- OpenAI: Learning to reason with LLMs (2024)
- Wei et al.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv, 2022)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.