késleltetés
angolul: latency
A késleltetés az az idő, amely a kérésed elküldése és a válasz megérkezése között eltelik – vagyis az, hogy mennyit kell várnod a gépre.
Érthetően
Ha egy étteremben rendelsz, nem mindegy, mikor érkezik az étel. A késleltetés ugyanez a várakozás a digitális világban: az az idő, ami a kérdésed elküldésétől a válasz megjelenéséig eltelik. Lehet néhány ezredmásodperc, de egy bonyolult AI-feladatnál akár több perc is.
Az AI-nál két dolgot érdemes külön figyelni. Az egyik, hogy mikor jelenik meg az első szó, a másik, hogy mikor készül el a teljes válasz. Az étteremben is más érzés, ha a pincér két perc múlva kihozza a kenyeret, mint ha fél óráig senki sem néz feléd, pedig a főétel mindkét esetben ugyanakkor érkezik.
A késleltetés nem a minőségről szól, hanem a tempóról. Egy nagyobb, okosabb modell gyakran lassabban felel, egy kisebb gyorsabban, de felületesebben. Ezért mindig mérlegelni kell, hogy az adott helyzetben a gyorsaság vagy az alaposság a fontosabb.
Hogyan működik
- A kérésed a hálózaton keresztül eljut egy adatközpontba; minél távolabb van a szerver, és minél gyengébb a kapcsolatod, annál tovább tart az út.
- Ha sokan használják egyszerre a szolgáltatást, a kérésed sorba áll, amíg szabad számítási kapacitás nem jut rá.
- A modell feldolgozza a bemenetet: minél hosszabb a szöveg vagy a csatolt dokumentum, annál később indul el a válasz.
- A válasz darabonként, tokenenként készül, ezért a hosszú válasz tovább tart; a legtöbb alkalmazás folyamatosan kiírja, amit a modell már megírt, így nem kell a végére várnod.
- Ha egy agent dolgozik a feladaton, több lépést tesz egymás után – keres, eszközöket hív, ellenőriz –, és ezek késleltetése összeadódik.
Példa a mindennapokból
Felteszel egy kérdést egy csevegőrobotnak, és egy-két másodpercig csak a villogó pontokat látod, mielőtt elindul a szöveg: ez a késleltetés. Ugyanezt érzed, amikor a telefonos hangasszisztens a kérdésed után kínosan sokáig hallgat, mielőtt megszólal.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A késleltetés erősen ingadozik: csúcsidőben ugyanaz a kérdés többszörös idő alatt készülhet el, ezért az átlagérték keveset mond a legrosszabb pillanatokról.
- A gyorsaságnak ára van: a gyorsabb válaszhoz gyakran kisebb, kevésbé alapos modell vagy drágább kiszolgálás kell.
- A hosszan „gondolkodó” modellek és a többlépéses agentek szándékosan lassabbak, mert a jobb eredményért több munkát végeznek.
- A gyors válasz nem jelent helyes választ: a sebességből semmit sem tudsz meg a tartalom megbízhatóságáról.
Hasonló, de nem ugyanaz
- áteresztőképesség – Az áteresztőképesség azt mutatja, hány kérést bír el a rendszer egy adott idő alatt, a késleltetés pedig azt, hogy egyetlen kérésre mennyit kell várni.
- sávszélesség – A sávszélesség azt mutatja, mennyi adat vihető át egy másodperc alatt, a késleltetés pedig azt, mennyi idő alatt ér célba az adat – széles sávon is lehet nagy a késés.
- válaszidő – A hétköznapi beszédben és az AI-szolgáltatásoknál többnyire ugyanazt jelentik. Hálózati szakszövegben viszont a késleltetés néha csak a válasz megindulásáig eltelt időt jelöli, a válaszidő pedig a teljes válasz elkészültéig tartót.
Kapcsolódó fogalmak
teljesítmény, AI-infrastruktúra
első tokenig eltelt idő, hálózati késleltetés, ping
következtetés, token, streamelés, peremszámítás, áteresztőképesség
Röviden a története
A fogalom a távközlésből és a számítógép-hálózatok világából származik, ahol a jel útjának idejét jelölte. A nagyközönség az online játékok „lag” és „ping” szavain keresztül ismerte meg, a ChatGPT 2022-es megjelenése óta pedig az AI-szolgáltatások egyik legfontosabb mérőszáma.
Hol tart most
2026 végén a késleltetés az AI-szolgáltatások alapvető mérőszáma: a szolgáltatók külön gyors modellváltozatokkal és gyorsított kiszolgálással versenyeznek. A hangalapú asszisztensek már közel természetes tempóban felelnek, a hosszan dolgozó agenteknél viszont a percekben mért várakozás megszokottá vált.
A hírekben
- Diákok tiltakoznak az AI ellen: kivonulás és performansz az amerikai iskolákban2026. okt. 19. · Oktatás és család
- Lagarde: az AI már most alakítja a munkaerőpiacot, a hatás a cégek használatán múlik2026. szept. 29. · Munka és HR
- Kórházi AI-számlázás közel egymilliárd dollárral növelte a Blue Cross biztosítók költségeit2026. szept. 28. · Egészség
- Lagarde: Európa példátlan kockázata, hogy elvágják az amerikai AI-tól2026. szept. 14. · Pénz
- Az EU AI Act halasztása a pénzügyi szolgáltatóknak több időt ad, de nem kevesebb felelősséget2026. aug. 3. · Pénz
Más nevei
késleltetés · latency · latencia · késleltetési idő · válaszidő · lag · time to first token · TTFT
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.