eszközön futó AI

angolul: on-device AI

alapelterjedt

Olyan mesterséges intelligencia, amely közvetlenül a telefonodon, laptopodon vagy más készülékeden dolgozik, és nem egy távoli szerverre küldi el az adataidat.

Érthetően

A legtöbb AI-szolgáltatás úgy működik, hogy a kérdésed az interneten át elutazik egy hatalmas szerverparkba, ott születik meg a válasz, és onnan jön vissza hozzád. Az eszközön futó AI-nál nincs utazás: a modell a saját készülékedben lakik, és ott helyben számol.

Olyan ez, mint a különbség a zsebszámológép és a telefonos tudakozó között. A számológép mindig kéznél van, azonnal felel, és senki sem hallja, mit kérdeztél tőle. A tudakozó többet tud, de kell hozzá vonal, várni kell rá, és valaki a túloldalon megtudja, mire vagy kíváncsi.

Három előnye van a felhős megoldással szemben: az adataidnak nem kell elhagyniuk a készüléket, internet nélkül is működik, és nincs hálózati késés. Az ára az, hogy egy telefonba csak kisebb, szerényebb tudású modell fér bele, mint egy adatközpontba.

A gyakorlatban a kettő sokszor keveredik: az egyszerűbb feladatot a készülék helyben oldja meg, a nehezebbet továbbküldi a felhőbe. Ezt hibrid működésnek hívják.

Hogyan működik

A fejlesztők először nagy gépeken betanítanak egy modellt, majd összezsugorítják: a számokat kisebb pontossággal tárolják (kvantálás), vagy egy nagy modell tudását egy kisebbe sűrítik (desztilláció).
A lekicsinyített modell rákerül a készülékedre, jellemzően egy alkalmazás vagy rendszerfrissítés részeként, és ott foglal tárhelyet, akár több gigabájtot is.
Amikor használod, a számítást a készülék saját lapkája végzi. Az újabb telefonokban és laptopokban erre külön részegység van, a neurális feldolgozóegység (NPU), amely kevés árammal gyorsan futtat AI-műveleteket.
A bemenet (a hangod, a fotód, a szöveged) és az eredmény a készüléken marad, hacsak az alkalmazás kifejezetten tovább nem küldi.
Ha a feladat túl nagy a helyi modellnek, a rendszer hibrid módban a felhőhöz fordulhat. A jól megtervezett alkalmazás ezt jelzi neked, vagy engedélyt kér hozzá.

Példa a mindennapokból

Repülő üzemmódban ülsz a gépen, és a telefonod mégis felismeri az arcodat a feloldáshoz, sok készüléken megtalálja a galériában az összes „kutyás” képet, és a támogatott nyelveken leiratot készít a diktált jegyzetedből. Mindez internet nélkül megy, mert a munkát a készülékedben futó modell végzi.

Kit érint

mindenkiA telefonod arcfelismerése, a diktálás, a fotók rendszerezése és a gépelési javaslatok nagy része már ma is a készülékeden fut.

vállalkozó, vezetőÉrzékeny üzleti adatoknál fontos szempont, hogy a feldolgozás a céges gépen történik, és nem egy külső szolgáltató szerverén.

beteg, orvosAz egészségügyi adatok, például az okosóra szívritmus-elemzése, helyben értékelhetők ki, így kevesebb kényes adat kerül ki a készülékről. → Egészség

fejlesztőMás tervezést kíván: szűk memóriával, akkumulátorral és sokféle hardverrel kell számolnia, cserébe nem fizet szerverköltséget minden egyes kérésért. → Kód

Gyakori félreértés

TévhitHa egy telefont vagy laptopot „AI-készülékként” árulnak, akkor minden AI-funkciója helyben fut, és semmilyen adat nem megy ki róla.

ValójábanA legtöbb ilyen készülék hibrid: bizonyos funkciók helyben futnak, mások a felhőben. Hogy melyik melyik, azt csak a beállításokból és az adatkezelési tájékoztatóból tudod meg.

Korlátok és kockázatok

A készülékre férő modell kisebb, ezért összetett kérdésekben gyengébb és gyakrabban téved, mint a nagy felhős modellek.
A helyi futtatás lemeríti az akkumulátort, melegíti a készüléket és tárhelyet foglal, régebbi eszközökön pedig sok funkció el sem érhető.
A helyi feldolgozás önmagában nem garancia az adatvédelemre: az alkalmazás az eredményt vagy a használati adatokat ettől még továbbküldheti.
A modell tudása csak frissítéssel bővül, és internet nélkül nem lát rá friss információkra.

Hasonló, de nem ugyanaz

felhőalapú AI – Ott a számítás a szolgáltató távoli szerverein történik, a készüléked csak elküldi a kérést és megjeleníti a választ.
peremszámítás (edge computing) – Tágabb fogalom: a számítás az adat keletkezésének közelében zajlik, de ez lehet egy közeli helyi szerver vagy hálózati eszköz is, nem csak a saját készüléked.
helyi nyelvi modell (local LLM) – Ez az eszközön futó AI egyik fajtája, amikor kifejezetten egy szöveges nyelvi modellt futtatsz a saját gépeden; az eszközön futó AI ennél tágabb, a kép- és hangfelismerést is magában foglalja.

Kapcsolódó fogalmak

Tágabb

peremszámítás, AI-infrastruktúra, következtetés (inferencia)

Szűkebb

helyi nyelvi modell, kis nyelvi modell, TinyML, AI PC

Rokon

neurális feldolgozóegység, kvantálás, modelldesztilláció, föderált tanulás, felhőalapú AI

Röviden a története

A fordulópontot 2017 hozta: az Apple ekkor mutatta be az A11 Bionic lapkát a beépített Neural Engine-nel, a Google pedig a mobilra szánt TensorFlow Lite keretrendszert (2024 óta LiteRT a neve). A generatív AI készülékre költöztetése 2024-ben kapott nagy lendületet, amikor megjelentek a Copilot+ PC-k és az Apple Intelligence.

Hol tart most

Az arcfelismerés és a fotófeldolgozás nagy része a legtöbb új telefonon helyben fut, a diktálás pedig a támogatott nyelveken. Az új csúcstelefonok és a jobb laptopok többsége már NPU-val érkezik. A generatív funkciók viszont 2026 végén is jórészt hibrid módon működnek, a nehezebb feladatok továbbra is a felhőbe kerülnek.

Állapot: 2026. november

A hírekben

3 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

Helyben futó AI-kódolás: Mellum 2.1, Junie az RTX Sparkon, OpenCode Ollamával2026. okt. 12. · Kód
A WhatsApp készüléken futó AI-val szűri a csalásgyanús üzeneteket2026. aug. 31. · Pénz
Ipari élvonali AI: Emerson PACEdge 3.0, LG–Nvidia AI-gyár, koreai gyártási AI 23 milliárd wonból2026. aug. 27. · Ipar

Más nevei

on-device AI · eszközön futó MI · készüléken futó AI · helyben futó AI · lokális AI · local AI · edge AI · peremhálózati AI

Források

Wikipedia: Federated learning

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.