utótanítás
angolul: post-training
Az utótanítás a nyelvi modell második tanítási szakasza, amelyben a nyers, szöveget folytató modellből segítőkész, utasításokat követő és biztonságosan viselkedő asszisztens lesz.
Érthetően
Képzelj el valakit, aki elolvasta a fél világ könyvtárát, de még soha nem dolgozott emberekkel. Rengeteget tud, csak éppen nem válaszol a kérdésedre, hanem tovább mondja, ami eszébe jut. Az előtanítás után ilyen a nyelvi modell: a szöveg folytatásához ért, a beszélgetéshez nem.
Az utótanítás olyan, mint a betanítás az első munkahelyen. Itt tanulja meg a modell, hogy a kérdésre válaszolni kell, hogy kövesse az utasításokat, hogy milyen hangnemben beszéljen, mikor mondjon nemet, és hogyan használjon eszközöket, például keresőt vagy programkódot.
A modell tudásának zöme az előtanításból származik, a viselkedése, a stílusa és a „személyisége” viszont nagyrészt az utótanításból. Ezért lehet két, hasonló tudású modell nagyon más beszélgetőtárs.
Hogyan működik
- Kiindulás: adott egy előtanított alapmodell, amely hatalmas szövegmennyiségen megtanulta megjósolni a következő szót (pontosabban szövegdarabot, azaz tokent), de még nem asszisztensként viselkedik.
- Példákból tanulás: a fejlesztők gondosan összeállított kérdés–válasz párokat és mintabeszélgetéseket mutatnak neki, hogy megtanulja az utasításkövetést és a párbeszéd formáját.
- Visszajelzésből tanulás: emberek, más modellek vagy automatikus ellenőrzések értékelik a válaszait, és a modell a jobbnak ítélt válaszok irányába hangolódik (megerősítéses tanulás).
- Biztonság és elvek: a modell megtanulja, mit ne tegyen meg, hogyan kezelje a kényes kéréseket, és milyen értékek szerint mérlegeljen.
- Különleges képességek és ellenőrzés: gyakorolja az eszközhasználatot, a többlépéses feladatmegoldást és a hosszabb gondolkodást, majd kiadás előtt tesztsorozatokon mérik, mit tud és hol hibázik.
Példa a mindennapokból
Megkérdezed a csevegőrobotot, hogyan írj felmondólevelet, és ő udvariasan, pontokba szedve válaszol, a végén pedig megkérdezi, kell-e hozzá minta. Ezt a segítőkész viselkedést az utótanítás során tanulta. Ha ugyanezt egy nyers alapmodellnek írnád be, lehet, hogy egyszerűen folytatná a mondatodat.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Az utótanítás csökkentheti, de nem tünteti el a tévedéseket: a modell továbbra is állíthat magabiztosan valótlant.
- A betanult korlátok nem áttörhetetlenek, ügyes megfogalmazással néha megkerülhetők.
- A túl erős hangolásnak ára lehet: a modell hízelgővé vagy túlzottan óvatossá válhat, és indokolatlanul is elutasíthat kéréseket.
- Kívülről ritkán látod, pontosan milyen adatokon és milyen szempontok szerint folyt az utótanítás, mert a cégek ezt csak részben hozzák nyilvánosságra.
Hasonló, de nem ugyanaz
- előtanítás – Az előtanítás hatalmas szövegmennyiségből adja az általános nyelvi és világismeretet, az utótanítás ebből formál használható, szabálykövető asszisztenst.
- finomhangolás – A finomhangolás egy technika, amellyel egy már betanított modellt célzott adatokon tovább tanítanak; ezt a modell felhasználói (például cégek) is elvégezhetik egy szűkebb feladatra. Az utótanítás viszont a modellgyártó teljes második szakasza, amelynek a finomhangolás csak az egyik eszköze.
- tanítás utáni kvantálás – Az angol neve (post-training quantization) hasonló, de ez a kész modell tömörítése, hogy kisebb gépen is fusson, nem pedig viselkedéstanítás.
Kapcsolódó fogalmak
gépi tanulás, modelltanítás, nagy nyelvi modell
finomhangolás, megerősítéses tanulás emberi visszajelzésből, utasításhangolás, biztonsági tanítás
előtanítás, alapmodell, MI-összehangolás, desztilláció, kiértékelés
Röviden a története
Az előtanítás és az azt követő hangolás kettőse a 2018-ban megjelent GPT és BERT modellekkel vált általánossá. Az OpenAI 2022-es InstructGPT-tanulmánya mutatta meg, hogy emberi visszajelzéssel a nyers modell utasításkövető asszisztenssé alakítható. A „post-training” szó ezután terjedt el a teljes második szakasz gyűjtőneveként.
Hol tart most
2026 végén minden jelentős csevegőmodell átesik utótanításon, és a nagy MI-laborok külön csapatokat tartanak fenn erre. A hangsúly egyre inkább az agentként végzett, többlépéses munka és az eszközhasználat megtanítására kerül.
Más nevei
utótanítás · utólagos tanítás · utóképzés · tanítás utáni szakasz · post-training · post training · posttraining
Források
- Ouyang et al.: Training language models to follow instructions with human feedback (2022, arXiv)
- Wikipedia: Reinforcement learning from human feedback
- Wikipedia: Fine-tuning (deep learning)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.