emergens képességek
angolul: emergent abilities
Olyan képességek, amelyekre a nyelvi modellt senki sem tanította külön, mégis megjelennek, amikor a modell elég nagyra nő.
Érthetően
Egy nyelvi modell alaptanítása egyetlen feladatból áll: találja ki, mi a következő szó. Mégis tud fordítani, verset írni, programkódot javítani vagy többlépéses feladatot végiggondolni. Ezeket senki sem írta bele külön programként, a méret és a rengeteg szöveg hozta magával. Ezt hívják emergens, vagyis „felbukkanó” képességnek.
Olyan ez, mint a hangyaboly. Egyetlen hangya nem tud hidat építeni vagy gombát termeszteni, a boly mégis megteszi, pedig nincs főmérnöke. A képesség a sok egyszerű rész együttműködéséből áll össze. Hasonló a gyerek is, aki olvasni tanul, és közben észrevétlenül a viccek logikáját is megérti.
A fogalom azért fontos, mert megmagyarázza, miért lepik meg az új modellek néha a saját készítőiket is. Emiatt olyan nehéz előre megjósolni, mit fog tudni a következő, nagyobb modell.
A hagyományos szoftver csak azt tudja, amit a programozó beleírt. A nyelvi modell képességeit viszont utólag kell felfedezni és kimérni. A mai csevegőmodelleket az alaptanítás után célzottan is tovább tanítják (például utasítások követésére), ezért nem minden képességük emergens.
Hogyan működik
- A modellt először hatalmas szövegmennyiségen tanítják egyetlen feladatra: a következő szó (pontosabban szövegdarab, token) megjóslására. A csevegőmodelleknél ezt célzott utótanítás követi, de a képességek zöme az első szakaszban alakul ki.
- Ahhoz, hogy ebben jó legyen, kénytelen belső mintázatokat kialakítani a nyelvtanról, a tényekről, a logikáról, sőt arról is, hogyan szokott egy érvelés vagy egy számítás lezajlani.
- Kis modellnél ezek a mintázatok hiányosak, ezért egy összetett feladatban szinte véletlenszerűen teljesít. Egyes feladatoknál egy bizonyos méret (és tanítási adatmennyiség) fölött a részek összeállnak, és a mért teljesítmény látványosan megugrik.
- A kutatók tesztfeladatokkal, utólag fedezik fel, mit tud a modell. Sokszor a felhasználók találnak rá új képességre a megjelenés után.
- Vitatott, hogy az ugrás valódi-e. Finomabb pontozással a javulás gyakran fokozatosnak látszik, tehát a hirtelen megjelenés részben a mérés módjából fakadhat.
Példa a mindennapokból
Megkérsz egy csevegőrobotot, hogy a nagymamád kézzel írt, tájszavakkal teli receptjét írja át angolra, amerikai mértékegységekkel, vegán változatban. Ilyen feladatra senki sem tanította külön, mégis megoldja, mert a fordítás, az átváltás és a főzési tudás benne egyszerre összeáll.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Attól, hogy egy képesség megjelent, még nem megbízható: a modell ugyanabban a feladattípusban egyszer remekel, máskor magabiztosan téved.
- Nem lehet előre biztosan megmondani, mekkora modellnél milyen képesség bukkan fel, ezért a nem kívánt képességek (például a megtévesztés vagy a kártékony kód írása) is meglepetésként érkezhetnek.
- A kifejezést a marketing szívesen használja misztikus hangulatkeltésre; ha „váratlanul megjelent” képességről olvasol, kérdezz rá, hogyan mérték.
- A kutatók között nincs egyetértés abban, hogy valódi ugrásokról van-e szó, vagy a mérőszámok megválasztása kelti ezt a látszatot.
Hasonló, de nem ugyanaz
- finomhangolás – A finomhangolásnál szándékosan, célzott példákkal tanítanak meg a modellnek egy feladatot, az emergens képesség viszont külön tanítás nélkül jelenik meg.
- hallucináció – A hallucináció a modell hibája, amikor hihetően hangzó valótlanságot állít, az emergens képesség pedig egy valóban működő, csak előre nem tervezett tudás.
- mesterséges általános intelligencia – Az emergens képességek egy-egy konkrét, mérhető feladatra vonatkoznak, és nem jelentik azt, hogy a modell emberi szintű, általános értelemmel rendelkezne.
Kapcsolódó fogalmak
emergencia, nagy nyelvi modell, mélytanulás
kontextuson belüli tanulás, példa nélküli tanulás, gondolatlánc
skálázás, alapmodell, teljesítménymérés, AI-biztonság, értelmezhetőség
Röviden a története
Az emergencia fogalma a 19. századi filozófiából ered (a szót George Henry Lewes vezette be 1875-ben). A természettudományban Philip W. Anderson fizikus 1972-es, „More Is Different” című esszéje tette széles körben ismertté. Nyelvi modellekre a főként a Google kutatóiból álló szerzőcsoport 2022-es tanulmánya (Wei és társai: Emergent Abilities of Large Language Models) tette közismertté a kifejezést. Ezt 2023-ban stanfordi kutatók vitatták, mondván, hogy a hirtelen ugrás részben mérési látszat.
Hol tart most
2026 végén a fogalom a szakmai és a közbeszédben is bevett, és a nagy nyelvi modelleknél rendszeresen beszámolnak előre nem tervezett képességekről. Az viszont továbbra is nyitott kutatási kérdés, hogy a képességek valóban ugrásszerűen jelennek-e meg, és mennyire jósolhatók előre.
Más nevei
emergens képességek · emergens viselkedés · felbukkanó képességek · emergencia · emergent abilities · emergent capabilities · emergent behavior · emergence
Források
- Wei et al.: Emergent Abilities of Large Language Models (2022, arXiv)
- Schaeffer, Miranda, Koyejo: Are Emergent Abilities of Large Language Models a Mirage? (2023, arXiv)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.