tokenek másodpercenként (TPS)
angolul: tokens per second
Azt mutatja meg, hány szövegdarabkát (tokent) ír ki egy nyelvi modell másodpercenként, vagyis milyen gyorsan gördül eléd a válasza.
Érthetően
Amikor egy csevegő AI-nak kérdést teszel fel, a válasz nem egyszerre jelenik meg, hanem szinte szavanként gördül ki a képernyőre. A tokenek másodpercenként mérőszám ennek a tempóját adja meg. A token a szöveg építőköve: lehet egy rövid szó, egy szótöredék vagy egy írásjel. A magyar szavak a ragozás miatt gyakran több tokenre esnek szét.
Úgy képzeld el, mint a gépírónál a leütések számát percenként, vagy az autónál a kilométer per órát. Nem azt árulja el, hogy jó-e, amit a modell ír, csak azt, hogy milyen gyorsan írja. Ha egy modell lassabb, mint ahogy olvasol, várnod kell rá. Ha gyorsabb, azt olvasás közben már alig érzed, de hosszú szövegnél, programkódnál vagy önállóan dolgozó agentnél a feladat így is hamarabb készül el.
A mérőszám két okból fontos. Az egyik az élmény: a lassú válasz idegesítő, a hangalapú asszisztensnél pedig kifejezetten zavaró. A másik a pénz: a szolgáltatóknál ez dönti el, hány felhasználót tud kiszolgálni egy drága szerver, tehát mennyibe kerül egy válasz előállítása.
Kétféle értelemben is találkozhatsz vele. Az egyik azt jelenti, hogy egyetlen felhasználó milyen gyorsan kapja a választ, a másik azt, hogy az egész rendszer összesen hány tokent termel másodpercenként az összes felhasználónak együtt. A kettő nagyon eltérő szám lehet.
Hogyan működik
- A modell a kérdésedet először tokenekre bontja és feldolgozza. Ez a bemenet olvasása, ami jóval gyorsabb, mint az írás.
- A választ tokenenként állítja elő: minden új tokenhez külön számítási lépés kell, amely figyelembe vesz mindent, ami addig elhangzott. Ezért a kimenet sebessége a szűk keresztmetszet.
- A sebességet úgy mérik, hogy a kiírt tokenek számát elosztják az eltelt idővel. Általában az első token megjelenésétől számolnak, a kezdeti várakozást külön mérik.
- Az eredmény sok mindentől függ: a modell méretétől, a chipektől, amelyeken fut, a szoftveres optimalizálástól, és attól, hányan használják éppen a rendszert.
- A szolgáltatók egyszerre sok kérést futtatnak ugyanazon a gépen. Ez növeli a rendszer összteljesítményét, de az egyes felhasználók válasza közben lassulhat.
Példa a mindennapokból
Este, csúcsidőben megkérsz egy csevegő AI-t, hogy írjon meg egy hosszabb levelet, és azt látod, hogy a szöveg döcögve, szavanként csorog. Másnap reggel ugyanaz a kérés pillanatok alatt kész. A modell ugyanaz, csak a másodpercenként kiírt tokenek száma változott a terhelés miatt.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A különböző modellek másképp darabolják tokenekre a szöveget, ezért két modell TPS-értéke nem hasonlítható össze pontosan.
- A hirdetett számok ideális körülmények között készülnek, a valós sebesség a terheléstől, a napszaktól és a kérdés hosszától függően ingadozik.
- A mérőszám általában nem tartalmazza az első szó megjelenéséig tartó várakozást. A gondolkodó modellek a látható válasz előtt rejtett gondolkodási tokeneket is előállítanak, ezért náluk ez a várakozás akár hosszabb is lehet, mint maga a kiírás.
- Magyar szövegnél ugyanannyi token kevesebb szót jelent, mint angolnál, ezért a magyar válasz lassabbnak érződhet ugyanazon a sebességen.
Hasonló, de nem ugyanaz
- első tokenig eltelt idő – Az azt méri, mennyit vársz, mire a válasz elindul, a TPS pedig azt, hogy utána milyen gyorsan halad.
- késleltetés – A késleltetés várakozási idő: hol a válasz elindulásáig, hol a teljes válasz elkészültéig eltelt időt értik rajta. A TPS a teljes várakozásnak csak az egyik összetevője.
- kontextusablak – A kontextusablak azt adja meg, mennyi szöveget tud a modell egyszerre figyelembe venni, nem azt, hogy milyen gyorsan dolgozik.
- tranzakció másodpercenként – Adatbázisoknál és fizetési rendszereknél ugyanez a TPS rövidítés a másodpercenként végrehajtott tranzakciók számát jelenti, a tokenekhez nincs köze.
Kapcsolódó fogalmak
következtetés, teljesítménymérés, áteresztőképesség
kimeneti sebesség, rendszerszintű áteresztőképesség
token, késleltetés, első tokenig eltelt idő, grafikus processzor, kötegelt feldolgozás
Röviden a története
A mérőszám a nagy nyelvi modellek tömeges elterjedésével, a ChatGPT 2022 végi megjelenése után vált közismertté, amikor a felhasználók először látták tokenenként kigördülni a válaszokat. Azóta a chipgyártók és a felhőszolgáltatók egyik fő versenyszáma lett.
Hol tart most
2026 végén a TPS a modellek és szolgáltatók összehasonlításának bevett mutatója, független mérőoldalak rendszeresen közlik. Az önállóan, sok lépésben dolgozó agentek terjedésével a jelentősége tovább nő, mert ott a lassúság minden lépésnél újra jelentkezik, és a teljes feladat idejében összeadódik.
Más nevei
TPS · tokens per second · token/s · tok/s · token per másodperc · másodpercenkénti tokenszám · kimeneti sebesség · output speed
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.