AI-gateway

angolul: AI gateway / LLM gateway

haladóterjedő

Közbeiktatott szoftveres kapu, amelyen egy szervezet minden AI-modellnek szánt kérése áthalad, így egy helyen lehet ellenőrizni, irányítani, naplózni és elszámolni.

Érthetően

Képzeld el egy nagy irodaház portáját. Mindenki ugyanazon az ajtón megy be és ki, a portás tudja, ki kihez jött, kinek van belépője, és feljegyzi a forgalmat. Az AI-gateway ugyanez a porta, csak nem emberek, hanem a mesterséges intelligenciának küldött kérések és az onnan érkező válaszok haladnak át rajta.

Egy cég ma ritkán használ egyetlen AI-modellt: az egyik feladatra az egyik szolgáltató jó, a másikra egy olcsóbb vagy egy saját gépen futó modell. Gateway nélkül minden alkalmazás külön-külön kapcsolódna mindegyikhez, saját kulccsal, saját szabályokkal. A gateway ezt egyetlen közös bejárattá fogja össze.

Arra jó, hogy a cég lássa és kézben tartsa az AI-használatot: mennyibe kerül, ki mire használja, nem megy-e ki érzékeny adat, és mi történjen, ha egy szolgáltató éppen leáll. Te ebből felhasználóként legtöbbször semmit sem látsz, legfeljebb azt, hogy a céges AI-asszisztens néha visszautasít egy kérést, vagy közli, hogy elfogyott a havi kereted.

Az agentek terjedésével még fontosabb lett, mert egy agent egyetlen feladat közben akár több száz kérést is küld a modellnek, emberi felügyelet nélkül. A gateway az a pont, ahol ezt a forgalmat meg lehet fogni és korlátozni.

Hogyan működik

Az alkalmazás vagy az agent nem közvetlenül az AI-szolgáltatónak küldi a kérést, hanem a gateway címére, a saját belső azonosítójával.
A gateway ellenőrzi, hogy a kérő jogosult-e, belefér-e a keretébe, és a beállított szabályok szerint átvizsgálja a tartalmat, például kiszűri vagy kitakarja a személyes adatokat.
Ha ugyanerre a kérdésre már van tárolt válasz a gyorsítótárban, azt adja vissza, és a modellt meg sem hívja. Ha nincs, eldönti, melyik modellhez továbbítsa a kérést: a feladathoz illő, olcsóbb vagy éppen elérhető modellhez. Ha az egyik szolgáltató nem válaszol, átirányít egy másikra.
A szolgáltatóhoz a cég központilag tárolt kulcsával fordul, így az egyes alkalmazásoknak és munkatársaknak nem kell ismerniük az éles kulcsokat.
A választ visszaadja a kérőnek, közben feljegyzi, ki mit kért, mennyi tokent használt és mennyibe került.

Példa a mindennapokból

A munkahelyeden bevezetnek egy belső AI-asszisztenst, és te beillesztesz egy ügyféllistát, hogy összefoglalót kérj róla. Az asszisztens jelzi, hogy a telefonszámokat és az e-mail-címeket kitakarta, mielőtt a szöveg a külső modellhez került. Ezt a szűrést jellemzően a háttérben futó AI-gateway végzi.

Kit érint

fejlesztőEgyetlen egységes felületen keresztül éri el a különböző modelleket, és nem kell minden szolgáltatóhoz külön kódot, kulcsot és hibakezelést írnia. → Kód

vállalkozó, vezetőItt látja egyben, mennyit költ a cég AI-ra, melyik csapat mire használja, és itt tud keretet vagy szabályt szabni.

munkavállalóA céges AI-eszközökben a gateway dönti el, mit enged át, és a kéréseidet naplózhatják, ezért érdemes tudnod, hogy amit beírsz, az nem láthatatlan. → Munka és HR

jogász, állampolgárAz adatvédelmi és megfelelési szabályokat a gyakorlatban sokszor itt kényszerítik ki, és az itt keletkező napló lehet a bizonyíték arra, mi történt egy adattal. → Jog

Gyakori félreértés

TévhitHa van AI-gateway, akkor a cég AI-használata automatikusan biztonságos és szabályos.

ValójábanA gateway csak azt szűri meg, ami rajta keresztül megy, és csak annyira jó, amennyire a beállított szabályai. Ha valaki a saját telefonján, magánfiókkal használ AI-t, az teljesen megkerüli.

Korlátok és kockázatok

Egyetlen ponton megy át minden forgalom, ezért ha a gateway leáll vagy lelassul, a rá épülő összes AI-szolgáltatás megérzi.
A gateway naplója rengeteg érzékeny tartalmat gyűjthet össze, kérdéseket, dokumentumrészleteket és személyes adatokat, ezért maga is védendő adattárrá válik.
A tartalomszűrés nem tévedhetetlen: ügyesen megfogalmazott kérések átcsúszhatnak rajta, ártalmatlanokat pedig tévesen megfoghat.
Nem javítja a modell válaszainak minőségét: a tévedést vagy a hallucinációt ugyanúgy továbbítja, ha arra nincs külön ellenőrzés.

Hasonló, de nem ugyanaz

API-gateway – A hagyományos API-gateway általános webes kéréseket kezel, az AI-gateway viszont a modellekre jellemző dolgokat is érti: tokeneket, költséget, promptokat és modellválasztást.
Védőkorlát (guardrail) – A védőkorlát egy konkrét tartalmi szabály vagy szűrő, a gateway pedig az a hely, ahol többek között ilyen szabályokat is le lehet futtatni.
Modellútválasztó (LLM router) – Az útválasztó csak azt dönti el, melyik modell kapja a kérést, a gateway emellett jogosultságot, keretet, naplózást és szűrést is kezel.

Kapcsolódó fogalmak

Tágabb

AI-infrastruktúra, API-gateway, AI-irányítás

Szűkebb

MCP-gateway

Rokon

Modellútválasztó, Szemantikus gyorsítótár, Védőkorlát, API-kulcs, Token, LLM-megfigyelhetőség, Árnyék-AI

Röviden a története

A webes szolgáltatások világában régóta használt API-gateway mintájára jött létre. Az első kifejezetten nyelvi modellekhez készült gateway-ek 2023-ban jelentek meg, amikor a cégek tömegesen kezdtek több AI-szolgáltatót egyszerre használni.

Hol tart most

2026 végén a nagyobb, több modellt és agenteket használó szervezeteknél már megszokott építőelem, a felhőszolgáltatók és nyílt forráskódú projektek is kínálják. A kisebb cégeknél még ritka. A gateway-ek egyre inkább az agentek eszközhasználatát is felügyelik, nem csak a modellhívásokat.

Állapot: 2026. november

Más nevei

AI gateway · LLM gateway · AI-átjáró · MI-átjáró · LLM-átjáró · LLM proxy · modellátjáró · GenAI gateway

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.