modell-útválasztás
angolul: model routing
Olyan megoldás, amely minden kérdést automatikusan ahhoz az AI-modellhez próbál irányítani, amelyik azt várhatóan elég jól, mégis a lehető leggyorsabban és legolcsóbban tudja megválaszolni.
Érthetően
Képzeld el a háziorvosi rendelőt: az asszisztens nem küld minden náthás beteget a professzorhoz. Az egyszerű esetet helyben elintézik, a bonyolultat szakorvoshoz irányítják. A modell-útválasztás ugyanezt teszi a mesterséges intelligenciával: eldönti, melyik kérdéshez melyik modell kell.
Erre azért van szükség, mert az AI-modellek nagyon különböznek. A legnagyobbak többnyire okosabbak, de lassabbak és drágábbak; a kisebbek gyorsak és olcsók, de a nehéz feladatokon gyakran elvéreznek. Ha minden kérdés a legerősebb modellhez megy, az olyan, mintha a sarki boltba is taxival járnál.
Az útválasztó a háttérben dolgozik, te legtöbbször észre sem veszed. Egy jól beállított rendszer a kérdések nagy részét olcsó modellel intézi el, és csak a valóban nehezeket küldi a drágához. Így a költség kedvező esetben a töredékére csökkenhet, miközben a minőség alig romlik.
Hogyan működik
- A kérdésed először nem egy modellhez, hanem az útválasztóhoz érkezik. Ez egy kis, gyors program vagy maga is egy apró AI-modell.
- Az útválasztó felméri a feladatot: mennyire nehéz, milyen témájú (például kód, fordítás, számolás), milyen hosszú, és kell-e hozzá alapos gondolkodás.
- Az előre megadott szabályok vagy a korábbi tapasztalatokból tanult minták alapján kiválasztja a megfelelő modellt. Ehhez az árat, a sebességet és a várható minőséget mérlegeli.
- A kiválasztott modell megválaszolja a kérdést. Egyes rendszerek ellenőrzik is az eredményt, és ha gyenge, a kérdést továbbadják egy erősebb modellnek.
- Ha egy modell éppen nem elérhető vagy túlterhelt, az útválasztó tartalékra vált, így a szolgáltatás nem áll le.
Példa a mindennapokból
Megkérdezed a csevegőrobotot, hány deka egy font, és azonnal jön a válasz. Utána egy bonyolult szerződés buktatóiról kérdezed, és a rendszer érezhetően tovább „gondolkodik”. Ilyenkor a háttérben jó eséllyel az útválasztó döntött: az első kérdést egy gyors, olcsó modellnek adta, a másodikat egy erősebb, alaposabban gondolkodó modellnek.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Az útválasztó tévedhet: ha egy nehéz kérdést könnyűnek néz, gyengébb modelltől kapsz magabiztosnak hangzó, de rosszabb választ.
- Gyakran nem látod, melyik modell válaszolt, ezért nehéz megítélni, mennyire bízhatsz az eredményben, és nehéz ugyanazt megismételni.
- Ha a kérdésed több cég modelljéhez is eljuthat, az adataid több helyen is megfordulhatnak; érzékeny információnál ennek érdemes utánanézned.
- A szolgáltató érdeke a spórolás, a tiéd a minőség. Ez a kettő nem mindig esik egybe.
Hasonló, de nem ugyanaz
- terheléselosztás – A terheléselosztás egyforma gépek között osztja szét a forgalmat, hogy egyik se legyen túlterhelve, a modell-útválasztás viszont a feladat jellege alapján különböző képességű modellek közül választ.
- AI-átjáró – Az AI-átjáró a tágabb kapu, amely a hozzáférést, a naplózást és a költségkeretet is kezeli; az útválasztás ennek csak az egyik funkciója.
- agent-orkesztráció – Az orkesztráció több agent együttműködését és a feladatok sorrendjét szervezi, az útválasztás csak azt dönti el, melyik modell kapja az adott kérést.
Kapcsolódó fogalmak
AI-infrastruktúra, AI-átjáró, költségoptimalizálás
modellkaszkád, tartalékmodellre váltás, szemantikus útválasztás
nagy nyelvi modell, kis nyelvi modell, következtetés, token, agent-orkesztráció
Röviden a története
A gondolat 2023-ban kapott nagy figyelmet a Stanford Egyetem kutatóinak FrugalGPT című tanulmányával. Ez megmutatta, hogy ha a kérdést előbb olcsó modell kapja, és csak szükség esetén megy tovább drágábbhoz, a költség a vizsgált feladatokon a töredékére csökkenthető hasonló minőség mellett. 2024-ben a főként a Berkeley Egyetem kutatói által készített RouteLLM nevű nyílt keretrendszer tette széles körben kipróbálhatóvá a tanuló útválasztókat. 2025 nyarán az OpenAI a GPT-5 bevezetésével a ChatGPT-be is beépített útválasztót tett, amely a gyors és az alaposabban gondolkodó modell között választ.
Hol tart most
2026 végére a nagy csevegőszolgáltatások és a vállalati AI-átjárók jelentős részében beépített funkció, és a több modellt használó agentek tervezésének is megszokott eleme. A döntések átláthatósága és a minőség egyenletessége viszont még gyenge pontja.
Más nevei
model routing · modellútválasztás · modell-irányítás · LLM routing · LLM router · model router · modellrouter · intelligens útválasztás
Források
- Chen, Zaharia, Zou: FrugalGPT – How to Use Large Language Models While Reducing Cost and Improving Performance (arXiv, 2023)
- Ong et al.: RouteLLM – Learning to Route LLMs with Preference Data (arXiv, 2024)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.