kontextusban tanulás (ICL)
angolul: in-context learning
A nyelvi modell a beszélgetésbe írt példákból és utasításokból helyben ráérez egy új feladatra, anélkül hogy újratanítanák.
Érthetően
Képzeld el, hogy új kolléga érkezik az irodába, és nem küldöd tanfolyamra, csak megmutatsz neki három kitöltött űrlapot: „így szoktuk”. A negyediket már magától ugyanígy tölti ki. A kontextusban tanulás ugyanez a nyelvi modelleknél: a kérésedbe írt példákból és leírásból a modell kikövetkezteti, mit vársz tőle.
Azért hasznos, mert nem kell hozzá programozó, drága számítógép vagy hetekig tartó betanítás. Elég jól megfogalmazni a feladatot, és mellétenni néhány mintát vagy a szükséges háttéranyagot. Így ugyanaz az általános modell percek alatt a te stílusodhoz, táblázatodhoz vagy szabályaidhoz igazodik.
A hagyományos tanítástól abban különbözik, hogy a modell „agya” közben semmit sem változik. Amit a példákból megértett, az csak az adott beszélgetésre érvényes: a következő, üres beszélgetésben már nem emlékszik rá, hacsak újra meg nem kapja.
Hogyan működik
- A modell a korábbi, hatalmas szövegmennyiségen végzett betanítása során általános mintafelismerő képességet szerzett; ez a tudása rögzített.
- Te a kérésedbe (a promptba) beírod a feladat leírását, néhány mintapéldát vagy a felhasználandó dokumentumot – ez együtt a kontextus.
- A modell a válasz előállításakor a teljes kontextust egyszerre figyelembe veszi, és felismeri benne a szabályszerűséget: milyen bemenetre milyen kimenet jár, milyen hangnemben és formában.
- Ezt a mintát folytatja az új esetre, vagyis úgy válaszol, mintha megtanulta volna a feladatot, pedig a belső beállításai (súlyai) nem módosultak.
- Amikor a beszélgetés véget ér vagy a kontextus kiürül, a „megtanult” minta eltűnik; a következő alkalommal újra meg kell adni.
Példa a mindennapokból
Beírod a csevegőrobotnak három korábbi ügyféllevél-válaszodat, majd megkéred, hogy a negyedik panaszra ugyanilyen stílusban feleljen. A válasz a te megszólításodat, hosszodat és hangnemedet követi, pedig a modellt senki sem tanította be a céged levelezésére.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A kontextusablak véges: ami nem fér bele, azt a rendszer levágja vagy el sem fogadja. Nagyon hosszú szövegnél a modell egyes részleteket, főleg a szöveg közepén lévőket, könnyebben figyelmen kívül hagy, és a válasz lassabb, drágább lesz.
- A rossz, egyoldalú vagy hibás példákat a modell ugyanolyan szorgalmasan utánozza, mint a jókat.
- Az eredmény érzékeny a példák megválasztására és sorrendjére, ezért fontos feladatnál érdemes több változatot kipróbálni és a választ ellenőrizni.
- Felhőalapú szolgáltatásnál minden, amit a kontextusba írsz, a szolgáltatóhoz kerül, ezért személyes vagy bizalmas céges adatot csak megfontoltan adj meg példaként.
Hasonló, de nem ugyanaz
- finomhangolás – A finomhangolás új tanítóadatokkal tartósan átírja a modell belső beállításait. A kontextusban tanulás csak az adott kérés idejére irányítja a változatlan modellt.
- promptírás – A promptírás az a mesterség, ahogyan megfogalmazod a kérést. A kontextusban tanulás a modell képessége, amely miatt a jól megírt prompt és a példák egyáltalán hatnak.
- memória – A memória egy külön tárban beszélgetések között is megőriz rólad adatokat, és szükség esetén visszateszi őket a kontextusba. A kontextusban tanulás önmagában a beszélgetés végével elvész.
Kapcsolódó fogalmak
gépi tanulás, nagy nyelvi modell, generatív MI
néhány példás tanulás, példa nélküli tanulás, egypéldás tanulás
prompt, kontextusablak, finomhangolás, kontextustervezés, visszakereséssel bővített generálás
Röviden a története
Már a GPT-2 (2019) is mutatta, hogy egy nyelvi modell külön betanítás nélkül, pusztán a kérés alapján is megold feladatokat. A jelenség 2020-ban került a figyelem középpontjába, amikor az OpenAI kutatói a GPT-3 modellről szóló tanulmányukban megmutatták, hogy egy kellően nagy nyelvi modell néhány, a kérésbe írt példából is megold új feladatokat. Ez a tanulmány tette széles körben ismertté az „in-context learning” kifejezést. Azóta a kutatók azt vizsgálják, pontosan mi történik ilyenkor a modell belsejében.
Hol tart most
2026 végén minden nagy nyelvi modell alapképessége, erre épül a mindennapi promptírás, a dokumentumokkal bővített válaszadás és az agentek működése is. A kontextusablakok sokat nőttek, így már egész kézikönyvek vagy kódtárak is megadhatók „példaként”.
Más nevei
kontextusban tanulás · kontextuson belüli tanulás · in-context learning · ICL
Források
- Brown et al. (2020): Language Models are Few-Shot Learners (a GPT-3 eredeti tanulmánya)
- Garg et al. (2022): What Can Transformers Learn In-Context? A Case Study of Simple Function Classes
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.