Fogalomtár › Infrastruktúra

áteresztőképesség

angolul: throughput

Az áteresztőképesség azt mutatja meg, mennyi munkát végez el egy rendszer adott idő alatt, például hány kérést vagy szövegdarabot dolgoz fel másodpercenként.

Érthetően

Gondolj egy autópálya-fizetőkapura. Nem az a kérdés, hogy egy autó milyen gyorsan hajt át rajta, hanem az, hogy óránként hány autót enged át összesen. Ez az áteresztőképesség: a rendszer teljes „forgalma” egy adott idő alatt.

Az AI-rendszereknél ezt többnyire tokenben (szövegdarabkában) vagy kérésben mérik: hány tokent állít elő a rendszer másodpercenként az összes felhasználónak együtt, illetve hány kérést teljesít percenként. Ettől függ, hogy csúcsidőben is kapsz-e választ, és hogy mennyibe kerül a szolgáltatás.

Más, mint a válaszidő. A válaszidő azt mutatja, mennyit vársz te a saját kérdésedre. Az áteresztőképesség azt mutatja, hogy a rendszer összesen mennyit bír el. Egy rendszer lehet egyetlen embernek villámgyors, és közben ezer embernek már kevés.

Hogyan működik

1. A kérések beérkeznek a szolgáltató szervereire, és ha épp nincs szabad kapacitás, sorba állnak.
2. A rendszer több kérést egy csomagba fog, és együtt futtatja le őket a gyorsítókártyákon (GPU-kon), mert így ugyanaz a hardver több munkát végez el. A korszerű rendszerek a csomagot menet közben is bővítik: amint egy kérés elkészül, a helyére új kerülhet.
3. A modell tokenenként állítja elő a válaszokat. Az áteresztőképességet az adja, hogy az összes futó kérésre együtt hány token készül el másodpercenként, a beolvasott és a kiírt szöveget is beleértve.
4. Az üzemeltető mérlegel: nagyobb csomagokkal nő az összteljesítmény, de az egyes felhasználók többet várhatnak, ezért a kettő között egyensúlyt keres.
5. Ha a forgalom tartósan meghaladja a kapacitást, a szolgáltató korlátozza a kéréseket, vagy újabb gépeket állít munkába.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A gyártók és szolgáltatók által közölt számok ideális körülmények között mért csúcsértékek; valós terhelés mellett jellemzően kevesebbet kapsz.
• Az áteresztőképesség semmit nem mond a válasz minőségéről: egy gyorsan sokat termelő modell is tévedhet.
• A token/másodperc értékek modellek között csak óvatosan vethetők össze, mert a modellek eltérően darabolják a szöveget, és a kérések hossza is torzít.
• A legtöbb szolgáltató előfizetési szintenként korlátozza a percenkénti kérések és tokenek számát, így a saját kereted szűkebb lehet, mint amit a rendszer elbírna.

Hasonló, de nem ugyanaz

• késleltetés (válaszidő) – A késleltetés azt méri, mennyi ideig vársz egyetlen kérés eredményére, az áteresztőképesség pedig azt, hogy a rendszer összesen mennyi kérést teljesít adott idő alatt.
• sávszélesség – A sávszélesség egy hálózati kapcsolat elméleti felső határa, az áteresztőképesség az, ami ténylegesen átmegy rajta.
• kapacitás – A kapacitás azt mutatja, mennyi erőforrás áll rendelkezésre, az áteresztőképesség azt, hogy ebből mennyi elvégzett munka lesz.

Kapcsolódó fogalmak

Röviden a története

A fogalom a gyártásszervezésből és a távközlésből került az informatikába, ahol a hálózatok és szerverek egyik alapmérőszáma lett. Az AI-rendszerek kiszolgálási teljesítményét 2019 óta az MLPerf Inference nevű iparági mérés is összehasonlítja, részben áteresztőképesség alapján.

Hol tart most

2026 végén az áteresztőképesség az AI-szolgáltatások egyik alapmérőszáma. A szolgáltatók token/másodpercben és percenkénti keretekben adják meg. A hosszan és párhuzamosan dolgozó agentek terjedésével egyre gyakrabban ez a szűk keresztmetszet, és jelentős költségtényező is.

Állapot: 2026. november

Más nevei

throughput · átbocsátóképesség · áteresztő képesség · átviteli teljesítmény · token/másodperc · tokens per second · TPS · requests per second

Források

• Wikipedia: Throughput
• MLCommons: MLPerf benchmarks

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.