inferenciaköltség
angolul: inference cost
Az inferenciaköltség az az összeg, amibe egy már betanított MI-modell használata kerül: minden egyes kérdés megválaszolása számítási kapacitást, áramot és így pénzt emészt fel.
Érthetően
Egy MI-modellnek kétféle költsége van. Az első a betanítás: ez modellenként egyszeri, hatalmas beruházás, olyan, mint felépíteni egy erőművet. A második az inferencia, vagyis a használat: minden alkalommal, amikor kérdezel tőle valamit, a modellnek újra ki kell számolnia a választ. Ez a villanyszámla, amely addig ketyeg, amíg valaki használja a rendszert.
Jó hasonlat a taxi. Az autó megvásárlása a betanítás, a megtett kilométerek ára az inferenciaköltség. Egy rövid út olcsó, egy hosszú drága, és ha naponta sok a fuvar, a végösszeg gyorsan megnő. Az MI-nél a „kilométer” a token, vagyis a szövegdarabka: minél hosszabb a kérdésed és a válasz, annál többe kerül.
Ezért fontos ez a szám. Ettől függ, mennyibe kerül egy előfizetés, miért van napi üzenetkorlát az ingyenes csomagokban, és megéri-e egy cégnek MI-t építeni a termékébe. Az agentek különösen sokat fogyasztanak, mert egyetlen feladat megoldásához akár több száz egymást követő modellhívást is indítanak.
Hogyan működik
- A kérdésedet a rendszer tokenekre bontja: ezek néhány betűs szövegdarabok, és ezekben mérik a fogyasztást.
- A tokenek egy adatközpontba kerülnek, ahol drága, speciális chipek (többnyire GPU-k) futtatják a modellt. A válasz minden egyes tokenjét külön kell kiszámolni.
- A szolgáltató külön árazza a bemenő tokeneket (amit te küldesz) és a kimenő tokeneket (amit a modell ír). Az utóbbi jellemzően többszörösébe kerül.
- A végösszeget a modell mérete, a szöveg hossza és a hívások száma adja ki. Egy nagy, „gondolkodó” modell ugyanarra a kérdésre sokkal többet fogyaszt, mint egy kicsi és gyors.
- A cégek többféleképpen faragnak a költségen: kisebb modellt használnak az egyszerű feladatokra, eltárolják az ismétlődő szövegrészek számítását (gyorsítótár), vagy a nem sürgős kéréseket kötegelve, olcsóbban futtatják.
Példa a mindennapokból
Az ingyenes csevegőrobot néhány hosszabb beszélgetés után azt írja, hogy elérted a napi keretet, és csak órák múlva folytathatod, vagy fizess elő. Ennek az az oka, hogy minden válasz valódi pénzbe kerül a szolgáltatónak, és valahol meg kell húznia a határt.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Az egy tokenre jutó ár gyorsan csökken, de a teljes számla ettől még nőhet, mert az újabb modellek és az agentek sokkal több tokent használnak el egy feladatra.
- A listaár nem a teljes kép: a „gondolkodó” modellek rejtett belső lépései, az újrapróbálkozások és a hosszú beszélgetési előzmények is fogyasztanak.
- Az előfizetési díj nem feltétlenül tükrözi a valódi költséget: a szolgáltatók gyakran veszteséggel is kiszolgálják a legaktívabb felhasználókat, ezért az árak és a korlátok bármikor változhatnak.
- A költség nem csak pénz: az inferencia áramot és hűtést igényel, vagyis környezeti lábnyoma is van.
Hasonló, de nem ugyanaz
- betanítási költség – A betanítás a modell elkészítésének egyszeri ára, az inferenciaköltség viszont a kész modell minden egyes használatakor újra felmerül.
- tokenár – A tokenár az egységár, amit a szolgáltató felszámít, az inferenciaköltség pedig a teljes ráfordítás, amely a felhasznált mennyiségtől és a háttér-infrastruktúrától is függ.
- előfizetési díj – Az előfizetés az az átalány, amit te fizetsz, az inferenciaköltség pedig az, amibe a kiszolgálásod a szolgáltatónak ténylegesen kerül.
Kapcsolódó fogalmak
MI-infrastruktúra, számítási kapacitás, üzemeltetési költség
tokenár, prompt-gyorsítótár, kötegelt feldolgozás
inferencia, token, GPU, adatközpont, betanítási költség
Röviden a története
Az inferencia latin eredetű szó, jelentése: következtetés. A logikából és a statisztikából került át a gépi tanulásba, ahol a már betanított modell alkalmazását, vagyis a válasz kiszámítását jelenti. Költsége a ChatGPT 2022. novemberi megjelenése után lett kiemelt üzleti kérdés, amikor egyszerre emberek tömegei kezdtek nagy nyelvi modelleket használni.
Hol tart most
2026 végén az inferenciaköltség az MI-ipar egyik legfontosabb mérőszáma. Az azonos tudásszintű modellek egységára évek óta meredeken esik, de az agentek és a gondolkodó modellek miatt a teljes fogyasztás és az adatközponti beruházás tovább nő.
A hírekben
- Napi 1000 dollárba kerül egy AI-t használó játék Steam-demójának üzemeltetése2026. okt. 12. · Kód
Más nevei
inferenciaköltség · inferencia költsége · következtetési költség · futtatási költség · inference cost · cost of inference · inferencing cost
Források
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.