kötegelt feldolgozás

angolul: batch processing (Batch API)

haladóelterjedt

Sok MI-kérés egyszerre, egy csomagban való beküldése, amelyre a válasz nem azonnal, hanem órákon belül érkezik, cserébe jóval olcsóbban.

Érthetően

Amikor egy csevegőrobottal beszélgetsz, azonnal választ vársz. Sok feladatnál viszont nem számít, hogy az eredmény két másodperc vagy fél nap múlva készül el: ilyen például tízezer vevői vélemény osztályozása vagy egy teljes webáruház termékleírásainak lefordítása. Ezekre való a kötegelt feldolgozás: a kéréseket nem egyenként, hanem egy nagy csomagban adod le.

Olyan ez, mint a mosoda. Ha egy inget azonnal, soron kívül akarsz kitisztíttatni, felárat fizetsz. Ha leadod az egész heti szennyest, és ráérsz másnap érte menni, olcsóbban megúszod, mert a mosoda akkor indítja el a gépet, amikor éppen van szabad kapacitása.

A nyelvi modellek szolgáltatói ugyanígy gondolkodnak: a nem sürgős munkát akkor végzik el, amikor a szervereik kevésbé terheltek. Cserébe jelentős, jellemzően nagyjából ötvenszázalékos kedvezményt adnak az azonnali válaszhoz képest.

A válasz minősége ugyanaz, hiszen ugyanaz a modell dolgozik, csak nem valós időben. Amit feladsz, az a gyorsaság és a párbeszéd lehetősége: menet közben nem tudsz visszakérdezni vagy pontosítani.

Hogyan működik

Összeállítod a csomagot: egy fájlba vagy listába kerül az összes kérés, mindegyik saját azonosítóval, hogy később tudd, melyik válasz melyik kérdéshez tartozik.
Beküldöd a csomagot a szolgáltató erre szolgáló felületére, a Batch API-ra, amely visszaigazolja az átvételt, és ad egy azonosítót a köteghez.
A szolgáltató a háttérben, a saját ütemezése szerint dolgozza fel a kéréseket, általában egy előre megadott határidőn, jellemzően 24 órán belül, de gyakran ennél jóval hamarabb.
Közben lekérdezheted, hol tart a munka: hány kérés készült el, hány hibázott, hány van még hátra.
Amikor a köteg elkészül, egyben letöltöd az eredményeket, és az azonosítók alapján párosítod őket az eredeti kérésekkel; a hibás vagy lejárt tételeket újra beküldheted.

Példa a mindennapokból

Egy webáruház este beküldi a nap folyamán érkezett háromezer vásárlói értékelést, hogy az MI jelölje meg, melyik panasz, melyik dicséret, és mi a téma. Reggelre kész a táblázat, és az ügyfélszolgálat már a rendszerezett listával kezdi a napot, mindezt fele annyi költséggel, mintha egyenként, azonnal kérték volna.

Kit érint

fejlesztőNeki kell eldöntenie, mely feladatok bírják ki a várakozást, és úgy megírnia a programot, hogy az a késleltetett, egyben érkező eredményeket is kezelje. → Kód

vállalkozó, vezetőA nagy tömegű, nem sürgős MI-munkák költsége így akár a felére csökkenthető, ami sokszor eldönti, megéri-e egy projekt.

marketingesTöbb ezer termékleírás, hírlevélváltozat vagy vásárlói visszajelzés feldolgozása tipikusan egy éjszaka alatt, kötegben készül el. → Marketing

Gyakori félreértés

TévhitAz olcsóbb kötegelt feldolgozás gyengébb minőségű válaszokat ad, mert valami butább modell dolgozik a háttérben.

ValójábanUgyanaz a modell válaszol, ugyanolyan minőségben. A kedvezmény ára a várakozás és az, hogy menet közben nem tudsz beleszólni: a szolgáltató akkor végzi el a munkát, amikor van szabad gépideje.

Korlátok és kockázatok

Nem alkalmas semmire, ahol valaki a válaszra vár: csevegésre, ügyfélszolgálati beszélgetésre vagy olyan agentre, amelynek lépésenként, azonnal kell döntenie.
Ha hibás az utasításod, az csak akkor derül ki, amikor már az egész köteg lefutott, ezért érdemes előbb néhány kérésen, azonnali módban kipróbálni.
A határidő felső korlát, nem ígéret a gyorsaságra: a határidőig el nem készült kérések lejárnak, és ezeket újra be kell küldened.
A kedvezmény mértéke, a köteg maximális mérete és a határidő szolgáltatónként eltér, és idővel változhat, ezért mindig az aktuális feltételeket nézd meg.

Hasonló, de nem ugyanaz

folyamatos válaszküldés (streaming) – A streamingnél a válasz azonnal, apránként jelenik meg előtted, ahogy a modell írja. A kötegelt feldolgozásnál viszont később, akár órák múlva, egyben kapod meg az összes választ.
prompt gyorsítótárazás – A gyorsítótárazás az ismétlődő szövegrészek újrafelhasználásával spórol, és azonnali válasznál is működik, míg a kötegelt feldolgozás a várakozásért cserébe ad kedvezményt.
kötegméret (batch size) a tanításnál – Az azt jelenti, hány példát lát egyszerre a modell tanulás közben, nem pedig azt, hogy a kész modellnek hogyan küldesz kéréseket.

Kapcsolódó fogalmak

Tágabb

API, következtetés (inference), nagy nyelvi modell, aszinkron feldolgozás

Szűkebb

–

Rokon

token, prompt gyorsítótárazás, streaming, késleltetés (latency), sebességkorlát (rate limit)

Röviden a története

A kötegelt feldolgozás a számítástechnika egyik legrégebbi munkamódja: az 1950-es, 1960-as évek nagyszámítógépei lyukkártyakötegekben, sorban állva kapták a feladatokat. A nyelvi modelleknél 2024-ben vált bevett szolgáltatássá, amikor az OpenAI és az Anthropic is külön, kedvezményes Batch API-t indított.

Hol tart most

2026 végén a nagy modellszolgáltatók és felhőplatformok szinte mindegyike kínál kedvezményes kötegelt módot. A nagy tömegű adatfeldolgozás, a kiértékelés és a tartalomgyártás megszokott, költségcsökkentő eszköze lett.

Állapot: 2026. november

Más nevei

kötegelt feldolgozás · batch feldolgozás · kötegelt futtatás · kötegelt kérés · batch processing · Batch API · batch inference · Message Batches API

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.