multimodális modell

angolul: multimodal model

alapelterjedt

Olyan mesterségesintelligencia-modell, amely nemcsak szöveget, hanem képet, hangot vagy videót is képes értelmezni, és gyakran többféle formában válaszolni is.

Érthetően

A korai csevegőrobotok csak olvasni és írni tudtak: szöveget kaptak, szöveget adtak vissza. A multimodális modell olyan, mint egy munkatárs, akinek nemcsak levelet írhatsz, hanem meg is mutathatsz neki egy fotót, lejátszhatsz egy hangfelvételt, vagy elé tehetsz egy táblázatot, és ő mindegyiket érti.

A „modalitás” az információ formáját jelenti: szöveg, kép, hang, videó. A multimodális modell ezeket együtt kezeli. Ugyanabban a beszélgetésben kérdezhetsz egy fényképről, diktálhatsz neki, sok rendszerben pedig rajzot vagy felolvasott választ is kérhetsz tőle.

Azért hasznos, mert a világ nagy része nem szövegként létezik. Egy számla, egy röntgenfelvétel, egy gép zaja vagy egy kézzel rajzolt vázlat mind olyan információ, amelyet így nem kell előbb szavakba öntened.

Hogyan működik

A modell minden bemenetet apró darabokra bont: a szöveget szótöredékekre, a képet kis négyzetes foltokra, a hangot rövid hangszeletekre.
Ezeket a darabokat számsorokká alakítja, mégpedig úgy, hogy a hasonló jelentésű dolgok hasonló számsort kapjanak, akár szóból, akár képből származnak. A „kutya” szó és egy kutyáról készült fotó így közel kerül egymáshoz.
Sok modellben a képet vagy a hangot először egy külön erre tanított rész alakítja át. Utána a közös neurális hálózat dolgozza fel a szöveggel együtt, ezért a modell össze tudja kapcsolni azt, amit lát, azzal, amit kérdezel tőle.
A választ lépésenként állítja elő: legtöbbször szövegként, de egyes modellek képet vagy beszédet is közvetlenül tudnak létrehozni.
Mindezt hatalmas mennyiségű összetartozó példából tanulta, például képekből a hozzájuk tartozó leírással, vagy videókból a hangsávjukkal.

Példa a mindennapokból

Lefényképezed a hűtőd tartalmát, és megkérdezed a telefonodon futó AI-asszisztenst, mit főzhetnél belőle vacsorára. A modell felismeri a képen az alapanyagokat, és receptet javasol, pedig egyetlen hozzávalót sem írtál be.

Kit érint

mindenkiA telefonos asszisztensek már képről, hangról és élő kameraképről is tudnak válaszolni, így sok helyzetben elég megmutatnod, amit eddig be kellett gépelned.

munkavállalóBeszkennelt iratok, diagramok, képernyőfotók és megbeszélések hangfelvételei is feldolgozhatók vele, nem csak a begépelt szöveg. → Munka és HR

szülő, diák, tanárEgy lefényképezett matekfeladatot vagy ábrát lépésről lépésre el tud magyarázni, ami segíti a tanulást, de megkönnyíti a házi feladat kiváltását is. → Oktatás és család

fejlesztőIlyen modellre épülnek azok az agentek, amelyek képernyőképek alapján kezelnek programokat és weboldalakat. → Kód

Gyakori félreértés

TévhitA multimodális modell úgy lát és hall, ahogyan az ember.

ValójábanA modell mintázatokat ismer fel a számokká alakított képekben és hangokban, tapasztalata és valódi térérzéke nincs. Ezért olyan hibákat is elkövet, amilyeneket egy ember ritkán: rosszul számolja meg a tárgyakat, vagy félreolvas egy jól látható feliratot.

Korlátok és kockázatok

Képről is tud magabiztosan tévedni: félreolvashat számot, dátumot vagy apró betűs szöveget, ezért a fontos adatokat mindig ellenőrizd az eredetin.
A feltöltött fotó vagy hangfelvétel személyes adatot is tartalmazhat (arc, lakcím, egészségügyi lelet), ezért gondold át, mit osztasz meg, és kinek a szolgáltatásával.
Orvosi felvétel, műszaki rajz vagy jogi irat értelmezésében nem helyettesíti a szakembert, legfeljebb első tájékozódásra jó.
A kép, a hang és a videó feldolgozása több számítást igényel, mint a szövegé, ezért lassabb és drágább lehet, a hosszú videókkal pedig sok modell nehezen boldogul.

Hasonló, de nem ugyanaz

nagy nyelvi modell – A nagy nyelvi modell eredetileg csak szöveggel dolgozik. A multimodális modell emellett képet, hangot vagy videót is kezel, és sokszor éppen egy nyelvi modell kibővítése.
képgeneráló modell – A képgeneráló modell jellemzően szöveges leírásból készít képet, vagyis egyetlen feladatra szakosodott. A multimodális modell a képet érteni is tudja, és beszélgetni lehet vele róla. Ma már sok multimodális modell képet is tud készíteni.
AI-agent – Az agent önállóan, több lépésben hajt végre feladatokat. A multimodális modell adja azt a képességet, amellyel az agent a képernyőt, a képeket vagy a hangot érzékeli.

Kapcsolódó fogalmak

Tágabb

mesterséges intelligencia, generatív mesterséges intelligencia, alapmodell, gépi tanulás

Szűkebb

látás-nyelv modell

Rokon

nagy nyelvi modell, képgeneráló modell, beszédfelismerés, szövegfelolvasás, gépi látás, beágyazás, token, AI-agent

Röviden a története

A kép és a szöveg közös gépi feldolgozását régóta kutatják. Fordulatot az OpenAI 2021-ben bemutatott CLIP modellje hozott, amely képeket és a leírásaikat közös jelentéstérben tanulta meg összekapcsolni. 2023-tól a nagy csevegőalkalmazások is megkapták a képértést (például a GPT-4V és a Gemini). 2024-ben pedig megjelentek az olyan rendszerek, amelyek a szöveget, a képet és a hangot egyetlen modellben, valós időben kezelik, ilyen például a GPT-4o.

Hol tart most

2026 végén a vezető AI-asszisztensek alapértelmezésben multimodálisak: képet, dokumentumot és hangot is fogadnak, sok közülük élő kameraképpel és beszéddel is működik. A hosszú videók megbízható megértése és a pontos térbeli következtetés még fejlődő terület.

Állapot: 2026. november

A hírekben

3 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

Külső validáció: a delírium-kockázatot becslő multimodális modell helyszínspecifikus újratanítás nélkül üzembe állítható2026. nov. 5. · Egészség
A DeepSeek multimodális modellt ad ki, Huawei-chipeket rendel, miközben az USA–Kína AI-tárgyalás készül2026. aug. 31. · Agent Age
A kínai nyílt modellek közel értek a nyugati csúcshoz: Qwen, GLM-5.3, DeepSeek, Moonshot2026. aug. 17. · Agent Age

Más nevei

multimodális modell · multimodális MI · multimodális mesterséges intelligencia · multimodális nagy nyelvi modell · multimodal model · multimodal AI · multimodal LLM · MLLM

Források

Radford et al. (2021): Learning Transferable Visual Models From Natural Language Supervision (CLIP)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.