Fogalomtár › Tanítás és adat

jutalommodell (RM)

angolul: reward model

Olyan segédmodell, amely pontszámmal jelzi, mennyire jó egy MI válasza, így a tanítás során nem kell minden egyes választ embernek értékelnie.

Érthetően

Képzeld el, hogy egy szakácstanulónak minden egyes fogását meg kellene kóstolnia a mesternek. Ez lehetetlen, ezért a mester betanít egy kóstolót, aki elég jól ismeri az ízlését, és helyette pontoz. A jutalommodell ez a kóstoló: egy külön MI-modell, amely emberi ítéletekből megtanulta, mit tartunk jó válasznak.

Azért van rá szükség, mert a „jó válasz” nem írható le képlettel. Egy sakkjátszmánál világos, ki nyert, de azt, hogy egy válasz segítőkész, udvarias és pontos-e, nagyon nehéz szabályokba foglalni. Az emberek viszont rá tudnak mutatni, két válasz közül melyik a jobb, és ebből a jutalommodell megtanulja a mintát.

Miután elkészült, a jutalommodell nagyságrendekkel gyorsabban és olcsóbban pontoz, mint az emberek. A nagy nyelvi modell ezekből a pontszámokból tanulja meg, milyen válaszokat adjon gyakrabban, és milyeneket kerüljön.

Fontos különbség: a jutalommodell nem maga a csevegőrobot, amellyel beszélgetsz, hanem a háttérben dolgozó „zsűri”, amely a tanítás idején formálta a viselkedését.

Hogyan működik

1. A fejlesztők a nyelvi modellel ugyanarra a kérdésre több választ íratnak.
2. Emberi értékelők összehasonlítják a válaszokat, és megjelölik, melyiket tartják jobbnak, vagy rangsorolják őket.
3. Ezekből az ítéletekből betanítanak egy külön modellt, amely bármely kérdés–válasz párra egyetlen számot ad: minél magasabb, annál valószínűbb, hogy az embereknek tetszene.
4. A nyelvi modell új válaszokat ír, a jutalommodell pontozza őket, a megerősítéses tanulás pedig a magas pontszámú viselkedés felé tolja a nyelvi modellt.
5. A fejlesztők közben figyelik, nem kezdi-e a modell a pontozót kijátszani, és ha kell, friss emberi értékelésekkel javítják a jutalommodellt.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• A tanított modell megtanulhatja kijátszani a pontozót: olyan válaszokat ad, amelyek magas pontot kapnak, de valójában nem jobbak (ezt hívják jutalomhekkelésnek).
• Az emberi értékelők elfogultságait, kulturális ízlését és tévedéseit a jutalommodell örökli, és akár fel is erősítheti.
• Hajlamos a hízelgő, a felhasználónak igazat adó válaszokat jutalmazni, mert az embereknek ezek rövid távon jobban tetszenek.
• Olyan helyzetekben, amelyekhez hasonlót az értékelők nem láttak, a pontszáma megbízhatatlan lehet.

Hasonló, de nem ugyanaz

• jutalomfüggvény – A jutalomfüggvény a tágabb fogalom: bármilyen szabály, amely megmondja, mennyi jutalom jár egy viselkedésért. Hagyományosan ember írja meg kézzel (például pont a játékban). A jutalommodell ennek tanult változata: adatokból, emberi ítéletekből tanulja meg, mit jutalmazzon.
• veszteségfüggvény – A veszteségfüggvény matematikai képlet, amely azt méri, mennyire tér el a modell kimenete az elvárttól, és a tanítás ezt csökkenti közvetlenül. A jutalommodell ezzel szemben maga is tanított modell (őt is veszteségfüggvénnyel tanítják), és olyankor ad értékelést, amikor nincs egyetlen helyes válasz.
• bíráló modell (LLM mint bíró) – A bíráló modell jellemzően a kész rendszert vizsgáztatja és szövegesen is indokol, a jutalommodell viszont a tanítás közben ad pontszámot, amely közvetlenül alakítja a modellt. A határ nem éles: bíráló modell pontszámát is használják tanításhoz.

Kapcsolódó fogalmak

Röviden a története

Az emberi visszajelzésből tanult jutalom ötlete régebbi, de a mély tanulásban 2017-ben vált ismertté Paul Christiano és társai „Deep reinforcement learning from human preferences” című tanulmányával, amely még játékokon és szimulált robotokon mutatta be. Nyelvi modelleken az OpenAI 2020-ban szövegösszefoglalásra próbálta ki, majd a 2022-es InstructGPT-tanulmány tette széles körben ismertté. Ez a módszer állt a ChatGPT tanítása mögött is.

Hol tart most

2026 végén a jutalommodell továbbra is bevett eszköz a nagy nyelvi modellek és az agentek tanításában, de nem az egyetlen. Egyes módszerek (például a DPO) külön jutalommodell nélkül, közvetlenül az emberi preferenciákból tanulnak. Ellenőrizhető feladatoknál (programkód, matematika) gyakran automatikus ellenőrzés adja a jutalmat. A kutatás fő kérdése az, hogyan lehet megakadályozni a pontozó kijátszását és a hízelgő viselkedés jutalmazását.

Állapot: 2026. november

Más nevei

jutalommodell · jutalom modell · jutalmazó modell · reward model · RM · preferenciamodell · preference model · learned reward model

Források

• Christiano et al.: Deep reinforcement learning from human preferences (arXiv, 2017)
• Ouyang et al.: Training language models to follow instructions with human feedback (arXiv, 2022)
• Wikipedia: Reinforcement learning from human feedback

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.