modellkiszolgálás
angolul: model serving
A modellkiszolgálás az a háttérüzem, amely a betanított AI-modellt folyamatosan elérhetővé teszi, hogy a kérdésedre másodperceken belül választ kapj.
Érthetően
A betanított AI-modell önmagában csak egy hatalmas fájl, olyan, mint egy kész recept a fiókban. A modellkiszolgálás az étterem konyhája: fogadja a rendeléseket, sorba állítja őket, elkészíti az ételt, és kiküldi az asztalodhoz, akkor is, ha egyszerre ezer vendég ül bent.
Erre azért van szükség, mert a modellt nem elég egyszer megépíteni: éjjel-nappal működtetni kell, gyorsan, megbízhatóan és megfizethető áron. Amikor egy csevegőrobot lassan válaszol, vagy azt írja, hogy túlterhelt, gyakran a kiszolgáló réteg határait látod.
Ez más, mint a modell betanítása. A tanítás ritkán ismételt, hetekig vagy hónapokig tartó nagy munka. A kiszolgálás viszont mindennapos üzem, amely minden egyes kérdésnél újra pénzbe és energiába kerül.
Hogyan működik
- A kész modellt betöltik egy vagy több erős számítógép memóriájába, jellemzően grafikus processzorokra (GPU), hogy azonnal használható legyen.
- A modell elé egy „pultot” tesznek: ez egy programozói felület (API), amelyen keresztül az alkalmazások, weboldalak és agentek elküldhetik a kéréseiket.
- A beérkező kéréseket a rendszer sorba állítja, és gyakran kötegekben, egyszerre többet dolgoz fel, hogy a drága gépek ne álljanak kihasználatlanul.
- Ha megnő a forgalom, a rendszer további gépeket indít, ha csökken, leállítja őket. Ezt hívják skálázásnak.
- Az üzemeltetők közben folyamatosan mérik a válaszidőt, a hibákat és a költséget, és a modell új változatát fokozatosan, leállás nélkül cserélik be a régi helyére.
Példa a mindennapokból
Este beírsz egy kérdést egy csevegőrobotba, és a válasz szavanként kezd megjelenni a képernyőn. A háttérben egy kiszolgáló rendszer fogadta a kérésedet, kiosztotta egy szabad gépnek, és folyamatosan küldi vissza a modell által előállított szöveget. Ha csúcsidőben lassabb a válasz, az ugyanaz, mint amikor tele van az étterem.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A kiszolgálás nem teszi okosabbá a modellt: csak azt adja, amit a modell tud, legfeljebb gyorsabban vagy olcsóbban.
- A gyorsítás és a spórolás érdekében gyakran tömörített, kisebb modellváltozatot futtatnak, ami ronthat a válaszok minőségén.
- Ha külső szolgáltató szolgálja ki a modellt, a kérdéseid az ő gépein haladnak át, ezért érzékeny adatoknál nézd meg, mit vállal az adatkezelésről.
- Csúcsidőben a kapacitás véges: sorban állás, lassulás, használati korlát vagy átmeneti leállás is előfordulhat.
Hasonló, de nem ugyanaz
- következtetés (inferencia) – A következtetés maga a számítás, amikor a modell választ állít elő, a kiszolgálás pedig az egész üzem körülötte, amely ezt sok felhasználónak megbízhatóan elérhetővé teszi.
- modelltanítás – A tanítás során a modell megtanulja a tudását, a kiszolgálás során ezt a kész tudást használják fel, a modell közben már nem tanul.
- MLOps – Az MLOps a modellek teljes életciklusának üzemeltetési gyakorlata az adatoktól a frissítésig, a kiszolgálás ennek csak az egyik, a felhasználó felé eső szakasza.
Kapcsolódó fogalmak
AI-infrastruktúra, MLOps, felhőszolgáltatás
kötegelt feldolgozás, automatikus skálázás, peremhálózati kiszolgálás
következtetés (inferencia), API, GPU, késleltetés, adatközpont, kvantálás
Röviden a története
A gépi tanulási modellek üzemeltetése sokáig egyedi, házon belüli megoldásokkal történt. Az egyik első széles körben használt nyílt forráskódú kiszolgáló rendszert, a TensorFlow Servinget a Google 2016-ban tette közzé. A nagy nyelvi modellek tömeges használata a 2020-as években a terület egyik legnagyobb költség- és mérnöki kérdésévé tette a kiszolgálást. Ekkor jelentek meg a kifejezetten nyelvi modellekre szabott eszközök, például a vLLM (2023).
Hol tart most
2026 végén a modellkiszolgálás érett, mindennapos üzemi terület: a nagy szolgáltatók napi kérések tömegét szolgálják ki, és nyílt forráskódú eszközökkel egy kisebb cég is futtathat saját modellt. A verseny főleg a válaszonkénti költség és az energiaigény csökkentéséről, valamint a sokáig futó agentek kiszolgálásáról szól.
A hírekben
- Az OpenAI novemberre megvonja modelljeit a SpaceX-hez került Cursortól2026. aug. 31. · Kód
- Az OpenAI megszünteti a Cursor modellszolgáltatását a SpaceX-felvásárlás miatt2026. aug. 28. · Kód
Más nevei
modellkiszolgálás · modell kiszolgálása · model serving · modellszolgáltatás · inferenciakiszolgálás · inference serving · modell-üzemeltetés
Források
- Olston et al.: TensorFlow-Serving: Flexible, High-Performance ML Serving (arXiv, 2017)
- TensorFlow Serving – hivatalos útmutató
- Kwon et al.: Efficient Memory Management for Large Language Model Serving with PagedAttention (arXiv, 2023)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.