Fogalomtár › Infrastruktúra

első token ideje (TTFT)

angolul: time to first token

Az első token ideje azt méri, mennyi idő telik el a kérdésed elküldése és az AI-válasz legelső szövegdarabjának megjelenése között.

Érthetően

Amikor kérdést írsz egy AI-csevegőnek, a válasz nem egyben érkezik, hanem apró darabokban, úgynevezett tokenekben (szavakban, szótöredékekben) pereg ki a képernyőre. Az első token ideje az a várakozás, amíg a legelső ilyen darab megjelenik.

Olyan ez, mint az étteremben: nem az számít elsőre, mikor végzel a vacsorával, hanem hogy a rendelés után mikor jön oda a pincér az első fogással. Ha gyorsan érkezik valami, türelmesebben vársz a többire.

Ezért ez a mérőszám elsősorban az élményről szól: azt mutatja meg, mennyire érzed fürgének a rendszert. A teljes válasz elkészülési idejét és a szöveg „gépelési” sebességét külön mérik.

Hangalapú asszisztenseknél és telefonos ügyfélszolgálati agenteknél különösen fontos, mert beszélgetésben már egy-két másodperc csend is kínosnak hat.

Hogyan működik

1. Elküldöd a kérdést: az üzenet a hálózaton át eljut a szolgáltató szerveréhez, ami önmagában is időbe telik.
2. A kérés sorba áll: ha sokan használják egyszerre a rendszert, várnia kell, amíg szabad számítási kapacitás jut neki.
3. A modell feldolgozza a teljes bemenetet: minél hosszabb a kérdés és a mellé csatolt anyag, annál tovább tart ez a lépés.
4. A modell előállítja az első tokent, a szerver pedig azonnal elküldi neked, és megjelenik a képernyőn. Itt áll meg a TTFT stopperórája.
5. A „gondolkodó” modelleknél és az agenteknél a látható válasz előtt belső érvelés vagy eszközhasználat is zajlik, ezért náluk ez az idő jóval hosszabb lehet.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Semmit nem mond a válasz minőségéről: a gyorsan induló válasz is lehet pontatlan vagy téves.
• Erősen ingadozik a napszaktól, a terheléstől, a kérdés hosszától és a hálózati kapcsolatodtól függően, ezért egyetlen mérésből nem érdemes következtetni.
• A szolgáltatók mérései nem mindig hasonlíthatók össze, mert eltérhet, hogy a hálózati késést, a sorban állást vagy a belső „gondolkodás” idejét beleszámítják-e.
• Háttérben futó, emberi felügyelet nélküli feladatoknál (például éjszakai dokumentumfeldolgozásnál) szinte semmit sem számít, ott a teljes futási idő és a költség a fontos.

Hasonló, de nem ugyanaz

• tokensebesség (token/másodperc) – Azt méri, milyen gyorsan pereg a szöveg, miután a válasz már elindult, míg a TTFT csak az indulásig tartó várakozást.
• teljes válaszidő – A kérdés elküldésétől az utolsó tokenig tartó időt jelenti, vagyis a TTFT ennek csak az első szakasza.
• első bájt ideje (TTFB) – A weboldalak világából származó rokon mérőszám, amely a szerver első adatbájtjáig méri az időt, nem a modell első értelmes szövegdarabjáig.

Kapcsolódó fogalmak

Röviden a története

A fogalom neve a webes teljesítménymérésben régóta használt „első bájt ideje” (TTFB) mintáját követi. Széles körben a 2022 végén megjelent ChatGPT után terjedt el, amikor a darabonként érkező, folyamatos válaszküldés a csevegő AI-k megszokott működése lett.

Hol tart most

2026 végén a TTFT a nyelvi modellek és szolgáltatók összehasonlításának egyik alapmérőszáma, amelyet a teljesítménytesztek és a szolgáltatói dokumentációk rendszeresen közölnek. A gondolkodó modellek és az agentek terjedésével egyre gyakrabban külön mérik az első látható válaszig eltelt időt is.

Állapot: 2026. november

Más nevei

TTFT · time to first token · time-to-first-token · első token ideje · első tokenig eltelt idő · idő az első tokenig · first token latency · első token késleltetése

Források

• NVIDIA NIM – LLM Inference Benchmarking: Metrics

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.