vLLM

szakmaielterjedt

Nyílt forráskódú kiszolgálóprogram, amely nagy nyelvi modelleket futtat saját szerveren úgy, hogy egyszerre sok felhasználót tudjon gyorsan és takarékosan kiszolgálni.

Érthetően

A nyelvi modell önmagában csak egy hatalmas fájl. Ahhoz, hogy kérdésekre válaszoljon, kell egy program, amely betölti a grafikus kártyák memóriájába, fogadja a kéréseket és visszaadja a válaszokat. A vLLM ilyen program, kifejezetten arra kihegyezve, hogy egyszerre nagyon sok kérést bírjon el.

Képzeld el egy forgalmas étterem konyháját. A szakács a modell, a vLLM pedig a konyhafőnök, aki úgy osztja be a rendeléseket, a tűzhelyeket és a pultfelületet, hogy senki ne várjon feleslegesen, és egyetlen serpenyő se álljon üresen. Ugyanaz a szakács így sokkal több vendéget lát el.

Főleg azok használják, akik nem egy külső szolgáltató felhőjéből bérlik a mesterséges intelligenciát, hanem saját gépen vagy saját bérelt szerveren akarják futtatni, például adatvédelmi okból vagy a költségek miatt. Az otthoni kísérletezésre szánt egyszerűbb eszközöktől az különbözteti meg, hogy nem egy, hanem sok száz egyidejű felhasználóra tervezték.

Hogyan működik

Betölti a kiválasztott nyílt modellt a szerver grafikus kártyáinak memóriájába, és ott készenlétben tartja.
A beérkező kéréseket nem egyenként, sorban dolgozza fel, hanem menet közben folyamatosan kötegeli őket: az új kérés azonnal beszállhat a már futók mellé, nem kell megvárnia, míg azok végeznek.
A beszélgetések munkamemóriáját (a modell menet közbeni „jegyzeteit”) apró, egyforma lapokra osztva kezeli, és minden beszélgetésnek csak annyit ad, amennyi éppen kell. Így kevesebb a pazarlás, és több beszélgetés fér el egyszerre ugyanazon a hardveren.
A válaszokat az OpenAI programozói felületével (API) kompatibilis, széles körben elterjedt formában adja vissza, ezért a meglévő alkalmazások és agentek jellemzően kis átállítással rá tudnak csatlakozni.

Példa a mindennapokból

Egy kórház a belső szabályai és az adatvédelmi kockázatok miatt nem akarja külső felhőszolgáltatónak átadni a betegadatokat, ezért a saját szervertermében futtat egy nyílt nyelvi modellt. Amikor az orvos a belső rendszerben zárójelentés-vázlatot kér, a háttérben egy vLLM-hez hasonló kiszolgáló gondoskodik arról, hogy ő és száz kollégája egyszerre, érdemi várakozás nélkül kapjon választ.

Kit érint

fejlesztőHa saját szerveren akarsz nyílt modellt üzemeltetni sok felhasználónak vagy agentnek, ez az egyik leggyakoribb választás. → Kód

vállalkozó, vezetőEttől is függ, mennyibe kerül és mennyire éri meg a saját üzemeltetésű mesterséges intelligencia a felhős előfizetéshez képest.

jogász, állampolgárA saját szerveren futó modell lehetővé teszi, hogy az érzékeny adatok ne hagyják el a szervezetet, ami adatvédelmi szempontból lényeges. → Jog

Gyakori félreértés

TévhitA vLLM egy újabb nyelvi modell, olyasmi, mint a GPT vagy a Llama.

ValójábanNem modell, hanem a modellt futtató és kiszolgáló program. Önmagában semmit sem tud megválaszolni, a tudást a belé töltött modell adja.

Korlátok és kockázatok

Éles használatban erős, drága grafikus kártyák kellenek hozzá; átlagos laptopra nem való.
A telepítése és finomhangolása üzemeltetési szaktudást igényel, nem kattintgatós végfelhasználói program.
A válaszok minőségén nem javít: csak gyorsabban és olcsóbban szolgálja ki ugyanazt a modellt, annak hibáival és tévedéseivel együtt.
A saját üzemeltetés csak megfelelő kihasználtságnál éri meg; kevés felhasználónál a felhős szolgáltatás gyakran olcsóbb.

Hasonló, de nem ugyanaz

Ollama – Az Ollama fő erőssége az egyszerű telepítés és a saját gépen, kevés felhasználóval történő használat, a vLLM-et pedig sok egyidejű felhasználó szerveroldali kiszolgálására tervezték.
Nagy nyelvi modell – A nyelvi modell maga a betanított „agy”, a vLLM az a program, amely ezt futtatja és elérhetővé teszi.
llama.cpp – A llama.cpp fő célja, hogy a modellek szerényebb hardveren, akár grafikus kártya nélkül is elfussanak, a vLLM viszont az erős szerverek maximális áteresztőképességére törekszik.

Kapcsolódó fogalmak

Tágabb

Következtetés (inferencia), Modellkiszolgálás, AI-infrastruktúra

Szűkebb

PagedAttention, Folyamatos kötegelés

Rokon

Ollama, llama.cpp, Nyílt forráskódú modell, Grafikus processzor (GPU), Kvantálás

Röviden a története

A vLLM a Kaliforniai Egyetem berkeley-i kampuszának (UC Berkeley) Sky Computing Lab nevű kutatócsoportjában született, és 2023-ban tették közzé nyílt forráskóddal. A mögötte álló memóriakezelési ötletet, a PagedAttention eljárást ugyanabban az évben tudományos cikkben is bemutatták. A projekt 2024-ben a Linux Foundation mesterséges intelligenciával foglalkozó alapítványához (LF AI & Data) került, azóta ott, független közösségi projektként fejlesztik.

Hol tart most

2026 végére a nyílt modellek szerveroldali futtatásának egyik legelterjedtebb eszköze, amelyet cégek, kutatóhelyek és felhőszolgáltatók egyaránt használnak. Nyílt, közösségi projektként fejlesztik, széles ipari támogatással.

Állapot: 2026. november

Más nevei

vLLM · VLLM · vllm · vLLM-motor · vLLM kiszolgáló · vLLM inference engine · vLLM serving engine

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.