VLM

angolul: vision-language model

haladóelterjedt

Olyan MI-modell, amely egyszerre érti a képet és a szöveget, így meg tudja mondani, mi látható egy fotón, és kérdésekre is válaszol róla.

Érthetően

A hagyományos nyelvi modell csak szöveget olvas: olyan, mint egy nagyon művelt ember, aki telefonon beszél veled, de nem látja, amit te látsz. A kép-nyelvi modell (VLM) ennek a „szemet kapott” változata: megmutathatsz neki egy fotót, egy képernyőképet vagy egy beszkennelt számlát, és szóban kérdezhetsz róla.

Arra jó, hogy leírja, mi van a képen, kiolvassa a rajta lévő szöveget, értelmez egy grafikont vagy táblázatot, összehasonlít két fotót, vagy megmondja, mi romolhatott el a képen látható gépen. A válasz jellemzően szöveg, nem új kép.

A régebbi képfelismerő programok csak előre megadott címkéket tudtak ráragasztani a képre, például azt, hogy „kutya” vagy „autó”. A VLM ezzel szemben szabadon megfogalmazott kérdésekre válaszol, és a képet össze tudja kapcsolni a háttértudásával.

A ma ismert csevegő MI-k többsége már ilyen modellre épül. Amikor fotót töltesz fel egy chatbotnak, valójában VLM-mel beszélgetsz.

Hogyan működik

A képet a modell apró négyzetekre, úgynevezett foltokra (angolul patch) vágja, hasonlóan ahhoz, ahogy a szöveget szavakra és szótöredékekre bontja.
Egy képfeldolgozó rész (képkódoló) minden foltot számsorrá alakít, amely azt írja le, mi látható azon a darabon: él, szín, betű, arc részlete.
Sok modellben egy összekötő réteg ezeket a számsorokat „lefordítja” a nyelvi modell belső nyelvére, így a nyelvi modell a képdarabokat a szavakhoz hasonlóan tudja kezelni.
A nyelvi modell együtt olvassa a képből származó elemeket és a te kérdésedet, és ebből darabonként, szóról szóra megírja a választ.
Mindezt a modell rengeteg kép–szöveg páron tanulta meg (például fotókon és a hozzájuk tartozó képaláírásokon), így alakult ki benne, melyik látvány melyik szavakhoz tartozik.

Példa a mindennapokból

Lefotózod a telefonoddal a mosógép kijelzőjén villogó hibakódot, és megkérdezed a chatbotot, mi a baj. A modell leolvassa a kódot, ha látszik a képen, felismeri a gyártót is, és elmagyarázza, mit érdemes ellenőrizned, mielőtt szerelőt hívsz. A választ érdemes a gép kézikönyvével összevetni.

Kit érint

mindenkiHa fotót, képernyőképet vagy dokumentumot mutatsz egy MI-asszisztensnek, kép-nyelvi modell dolgozik a háttérben.

munkavállalóA számlák, űrlapok, szkennelt szerződések és diagramok feldolgozását egyre több helyen ilyen modell végzi, ami átalakítja az adminisztratív munkát. → Munka és HR

beteg, orvosRöntgenképek, bőrelváltozások és leletek előzetes értelmezésében is megjelenik, de a döntés és a felelősség az orvosnál marad. → Egészség

fejlesztőA képernyőt „látó” agentek és a dokumentumfeldolgozó rendszerek jellemzően VLM-re épülnek, és a robotikában is egyre gyakrabban használják őket. → Kód

Gyakori félreértés

TévhitA kép-nyelvi modell úgy lát, ahogy az ember, ezért amit a képről mond, az biztosan ott is van.

ValójábanA modell a képet számokká alakítja, és ezekből valószínűségi alapon fogalmaz választ. Ezért magabiztosan leírhat olyan részletet is, ami nincs a képen, vagy félreolvashat egy számot.

Korlátok és kockázatok

Tévedhet apró részletekben: félreszámolhatja a tárgyakat, összekeverheti a jobb és bal oldalt, rosszul olvashat le kis betűs szöveget vagy számot.
Hallucinálhat, vagyis hihető, de kitalált részletet mondhat a képről, ezért pénzügyi, orvosi vagy jogi tartalmat mindig ellenőrizz az eredetin.
A feltöltött fotó személyes adatot is tartalmazhat (arc, lakcím, rendszám, iratok), ezért gondold meg, mit osztasz meg egy szolgáltatással.
A képbe rejtett szöveges utasítással megtéveszthető, ami különösen kockázatos, ha a modell egy önállóan cselekvő agent része.

Hasonló, de nem ugyanaz

Képgeneráló modell – A képgeneráló modell szövegből készít új képet, a VLM viszont meglévő képet értelmez, és szöveggel válaszol.
Nagy nyelvi modell (LLM) – A klasszikus LLM csak szöveggel dolgozik, a VLM ehhez képest képet is be tud fogadni.
Optikai karakterfelismerés (OCR) – Az OCR csupán kiolvassa a betűket a képről, a VLM a szöveget és a látványt együtt értelmezi, és kérdésekre is felel róla.

Kapcsolódó fogalmak

Tágabb

Multimodális modell, Alapmodell, Generatív mesterséges intelligencia

Szűkebb

Vizuális kérdésmegválaszolás, Képleírás-generálás

Rokon

Nagy nyelvi modell (LLM), Gépi látás, Optikai karakterfelismerés (OCR), Képgeneráló modell, Számítógép-használó agent, Kép-nyelv-cselekvés modell (VLA)

Röviden a története

Az egyik fontos előzmény a 2021-ben bemutatott CLIP volt (OpenAI), amely képek és a hozzájuk tartozó szövegek párosításából tanult. Erre épültek a ma ismert, kérdésekre szöveggel válaszoló modellek, például a DeepMind 2022-es Flamingója. A nagyközönség 2023-ban találkozott a VLM-ekkel tömegesen, amikor a csevegő MI-k, például a ChatGPT és a Bard, képeket is fogadni kezdtek.

Hol tart most

2026 végén a vezető csevegő MI-k alapértelmezetten értik a képet, és nyílt, saját gépen futtatható változatok is elérhetők. A fejlesztés súlypontja a videó megértése, a képernyőt kezelő agentek és a robotika felé tolódik.

Állapot: 2026. november

A hírekben

1 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

AI-alapú HR-asszisztens a vendéglátásban: a VLM több száz önéletrajzot szűr elő2026. aug. 31. · Munka és HR

Más nevei

VLM · vision-language model · vision language model · visual language model · kép-nyelvi modell · látás-nyelvi modell · vizuális nyelvi modell · multimodális nyelvi modell

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.