RLHF

angolul: reinforcement learning from human feedback

haladóelterjedt

Tanítási módszer, amelyben emberek értékelik a nyelvi modell válaszait, és a modell ezekből az értékelésekből tanulja meg, milyen választ tartunk jónak.

Érthetően

Egy nyelvi modell először rengeteg szövegből tanulja meg, hogyan követik egymást a szavak. Ettől még nem tudja, mi a hasznos, udvarias vagy biztonságos válasz. Az RLHF ezt a hiányt pótolja: emberek megmutatják, melyik válasz tetszik nekik jobban, és a modell ehhez igazodik.

Olyan ez, mint amikor egy szakácstanuló már minden receptet elolvasott, de főzni igazán a kóstolóktól tanul meg. Nem azt mondják meg neki, pontosan mit tegyen a fazékba, hanem azt, hogy a két tányér közül melyik ízlett jobban. Sok ilyen kóstolás után ráérez az ízlésükre.

Ez más, mint a hagyományos tanítás, ahol minden kérdéshez előre megadják a helyes megoldást. Arra, hogy mi a „jó válasz” egy beszélgetésben, nincs képlet, de két válasz közül az ember könnyen kiválasztja a jobbat. Az RLHF ezt a könnyen adható ítéletet alakítja át olyan jelzéssé, amelyből a modell tanulni tud.

Hogyan működik

Kiindulásként van egy már előtanított nyelvi modell, amely folyékonyan ír, de még nem igazodik az elvárásainkhoz.
A modell ugyanarra a kérdésre több választ ad, emberi értékelők pedig rangsorolják vagy pontozzák ezeket: melyik a hasznosabb, pontosabb, biztonságosabb.
Az értékelésekből egy külön modellt tanítanak, az úgynevezett jutalommodellt, amely megtanulja megjósolni, hogy egy válasz mennyire tetszene az embereknek.
A nyelvi modell ezután rengeteg választ gyárt, a jutalommodell mindegyiket pontozza, a modell beállításait pedig lépésenként úgy módosítják, hogy egyre több pontot érjen el.
A kört többször megismétlik friss emberi értékelésekkel, és külön ellenőrzik, hogy a modell nem tanult-e meg közben olcsó trükköket a pontszám növelésére.

Példa a mindennapokból

Megkérdezed a csevegőrobotot, hogyan írj panaszlevelet a szolgáltatódnak, és rendezett, udvarias, a lényegre térő választ kapsz. Ez nagyrészt annak köszönhető, hogy korábban emberi értékelők sok ezer válaszról jelölték meg, melyik a jobb. Amikor a válasz alatti felfelé vagy lefelé mutató hüvelykujjra kattintasz, hasonló jelzést adsz, amelyet a fejlesztők később felhasználhatnak.

Kit érint

mindenkiA csevegőrobotok hangnemét, segítőkészségét és azt, hogy mit utasítanak el, jórészt ilyen tanítás alakítja.

fejlesztőHa saját modellt hangolsz, tudnod kell, hogy az értékelők minősége és az útmutató megfogalmazása közvetlenül meghatározza a modell viselkedését. → Kód

vállalkozó, vezetőAmikor AI-szolgáltatót választasz, érdemes megkérdezned, kik és milyen szempontok szerint értékelték a modell válaszait.

munkavállalóAz értékelést világszerte sok, gyakran alulfizetett adatmunkás végzi, vagyis a módszer mögött valódi emberi munka áll. → Munka és HR

Gyakori félreértés

TévhitA csevegőrobot minden beszélgetésedből azonnal tanul, és a visszajelzésedtől ott helyben okosabb lesz.

ValójábanAz RLHF a fejlesztés során, külön tanítási szakaszban zajlik, a modell beszélgetés közben nem változik. A visszajelzésed legfeljebb egy későbbi modellváltozat tanításába kerülhet be, a szolgáltató szabályai szerint.

Korlátok és kockázatok

A modell azt tanulja meg, ami az értékelőknek tetszik, nem azt, ami igaz, ezért hajlamos lehet magabiztosan hangzó vagy hízelgő válaszokat adni.
Az értékelők ízlése, kultúrája és előítéletei beépülnek a modellbe, így ami az egyik közegben megfelelő válasz, az a másikban nem biztos, hogy az.
A modell kiskapukat találhat: olyan válaszokat ad, amelyek magas pontot kapnak a jutalommodelltől, de valójában nem jobbak.
Az emberi értékelés drága és lassú, ezért a ritka vagy szakmai témákban kevesebb a visszajelzés, és ott a modell megbízhatatlanabb.

Hasonló, de nem ugyanaz

Finomhangolás – A finomhangolás tágabb fogalom, amelyben általában kész mintaválaszokból tanul a modell, az RLHF-ben viszont emberi értékelésekből származó jutalomból.
Megerősítéses tanulás – A klasszikus megerősítéses tanulásban a jutalmat a környezet adja, például egy játék pontszáma, az RLHF-ben viszont emberek ítéleteiből tanult jutalommodell.
Prompttervezés – A prompttervezés a kérdés megfogalmazását javítja, és magát a modellt nem módosítja, míg az RLHF a modell belső beállításait változtatja meg.

Kapcsolódó fogalmak

Tágabb

Megerősítéses tanulás, Gépi tanulás, Finomhangolás, AI-összehangolás

Szűkebb

Jutalommodell

Rokon

Nagy nyelvi modell, Előtanítás, Adatcímkézés, Hízelgő válaszadás, Alkotmányos AI, Preferencia-alapú tanítás

Röviden a története

Az alapötletet, vagyis hogy a gép emberi preferenciákból tanuljon jutalmat, egy 2017-es kutatás tette ismertté. Nyelvi modelleken már 2019–2020-ban kipróbálták, például szövegek összefoglalására. Széles körben az OpenAI 2022-es InstructGPT-tanulmánya tette ismertté, a nagyközönség pedig a 2022 novemberében megjelent ChatGPT révén találkozott vele.

Hol tart most

2026 végén a nagy csevegőmodellek tanításának bevett része, de ritkán önmagában használják. Jellemzően rokon módszerekkel együtt alkalmazzák, például közvetlen preferencia-alapú hangolással vagy olyan eljárásokkal, ahol az értékelés egy részét egy másik AI-modell végzi.

Állapot: 2026. november

Más nevei

RLHF · reinforcement learning from human feedback · megerősítéses tanulás emberi visszajelzésből · megerősítéses tanulás emberi visszacsatolással · emberi visszajelzésen alapuló megerősítéses tanulás · emberi visszajelzéses tanítás · reinforcement learning from human preferences · RL from human feedback

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.