RLVR

angolul: reinforcement learning with verifiable rewards

szakmaielterjedt

Olyan tanítási módszer, amelyben az AI-modell csak akkor kap jutalmat, ha a válasza gépi úton, egyértelműen ellenőrizve helyesnek bizonyul.

Érthetően

Képzeld el a matekdolgozatot, ahol a tanár nem a szép külalakot vagy a magabiztos hangot pontozza, hanem kizárólag azt, hogy kijött-e a jó végeredmény. Az RLVR ugyanezt csinálja egy nyelvi modellel: rengeteg feladatot ad neki, és egy program automatikusan megnézi, helyes-e a megoldás.

A módszer ott működik, ahol a helyesség gépiesen eldönthető: stimmel-e a számítás eredménye, lefut-e a megírt programkód a teszteken, érvényes-e a bizonyítás. Ilyenkor nem kell ember, aki minden választ elolvas és értékel, ezért nagyon nagy mennyiségben lehet gyakoroltatni a modellt.

Ebben más, mint a korábbi tanítási módok. A hagyományos tanításnál a modell emberek által írt mintaválaszokat utánoz, az emberi visszajelzésre épülő módszernél pedig azt tanulja, mi tetszik az értékelőknek. Itt viszont azt tanulja, mit fogad el helyesnek az ellenőrző program, és az odavezető gondolatmenetet magának kell kitalálnia.

Jelentős részben ilyen jellegű tanításnak köszönhetők az úgynevezett gondolkodó (érvelő) modellek, amelyek válasz előtt hosszan, lépésről lépésre dolgoznak a feladaton. A zárt modellek pontos tanítási eljárását azonban a cégek nem hozzák nyilvánosságra.

Hogyan működik

A fejlesztők összeállítanak egy nagy feladatgyűjteményt, amelyben minden feladathoz tartozik egy automatikus ellenőrző: ismert végeredmény, tesztsor a programkódhoz vagy egy szabályellenőrző program.
A modell ugyanarra a feladatra több megoldási kísérletet ír, mindegyiket a saját gondolatmenetével.
Az ellenőrző minden kísérletet kiértékel, és jellemzően egyszerű ítéletet ad: jó vagy nem jó, illetve hány teszten ment át.
A tanító algoritmus úgy módosítja a modell belső beállításait, hogy a sikeres kísérletekhez vezető gondolkodási lépések valószínűbbé, a sikertelenekéi ritkábbá váljanak.
Ez a kör nagyon sokszor megismétlődik, gyakran egyre nehezebb feladatokkal, amíg a modell megbízhatóan jó megoldási stratégiákat nem alakít ki.

Példa a mindennapokból

Megkérsz egy csevegőrobotot, hogy számolja ki a lakáshiteled törlesztőrészletét, és azt látod, hogy előbb „gondolkodik”, lépésenként levezeti, majd ellenőrzi a saját eredményét. Ezt a türelmes, önellenőrző munkamódot nagyrészt olyan tanítás során sajátította el, ahol csak a bizonyíthatóan helyes végeredményért járt jutalom.

Kit érint

fejlesztőA kódoló agentek részben azért lettek ennyivel jobbak, mert a programkód tesztekkel automatikusan ellenőrizhető, így ideális terep ehhez a tanításhoz. → Kód

szülő, diák, tanárA matematikai és logikai feladatokban a modellek megbízhatóbbak lettek, de ez nem jelenti azt, hogy esszében vagy történelmi kérdésben is ugyanannyira pontosak. → Oktatás és család

vállalkozó, vezetőSegít megérteni, miért erős az AI a jól mérhető feladatokban, és miért kell óvatosabbnak lenned ott, ahol a jó eredménynek nincs egyértelmű mércéje.

mindenkiA hírekben szereplő „gondolkodó” modellek képességugrása mögött jelentős részben ez a módszer áll, ezért érdemes tudni, mit tud és mit nem.

Gyakori félreértés

TévhitHa egy modellt ellenőrizhető jutalommal tanítottak, akkor a válaszai mindig ellenőrzöttek és helyesek.

ValójábanAz ellenőrzés a tanítás idején történik, nem akkor, amikor te kérdezel. A modell a gyakorlás révén ügyesebb lett, de a neked adott választ senki sem ellenőrzi automatikusan, tehát továbbra is tévedhet.

Korlátok és kockázatok

Csak ott használható, ahol a helyesség gépiesen eldönthető; egy jó tanács, egy szép szöveg vagy egy etikai mérlegelés minőségét nem lehet így pontozni.
A modell megtanulhatja kijátszani az ellenőrzőt: ha a teszt hiányos, olyan megoldást is adhat, amely átmegy rajta, de valójában nem oldja meg a feladatot.
A matematikában és programozásban szerzett javulás nem vihető át automatikusan más területekre, ezért a modell lehet kiváló a számolásban és közben gyenge a tények ismeretében.
A legnagyobb modelleknél a tanítás nagyon számításigényes és drága, ezért ott főként a nagy AI-cégek engedhetik meg maguknak; kisebb, nyílt modelleken viszont egyetemi és nonprofit kutatócsoportok is alkalmazzák.

Hasonló, de nem ugyanaz

Emberi visszajelzésen alapuló megerősítéses tanulás (RLHF) – Ott emberek ízlése és értékelése adja a jutalmat, itt egy program dönti el objektíven, hogy a válasz helyes-e.
Felügyelt finomhangolás – A finomhangolásnál a modell kész mintaválaszokat utánoz, az RLVR-nél viszont maga kísérletezi ki a megoldást, és csak a végeredményről kap visszajelzést.
Tényellenőrzés – A tényellenőrzés a kész válaszokat vizsgálja használat közben, az RLVR viszont tanítási módszer, amely a modell elkészülte előtt zajlik.

Kapcsolódó fogalmak

Tágabb

Megerősítéses tanulás, Gépi tanulás, Modelltanítás

Szűkebb

–

Rokon

Emberi visszajelzésen alapuló megerősítéses tanulás, Érvelő modell, Finomhangolás, Jutalomfüggvény, Automatikus kiértékelő, Jutalomhekkelés, Kódoló agent

Röviden a története

A megerősítéses tanulás évtizedek óta létező kutatási terület, és automatikusan ellenőrizhető jutalmat korábban is használtak. Magát az RLVR elnevezést az Allen Institute for AI kutatóinak 2024-es Tülu 3 tanulmánya vezette be. A megközelítés 2025 elején vált széles körben ismertté, amikor a DeepSeek-R1 modell megmutatta, hogy szabályalapú, automatikusan ellenőrzött jutalommal erős érvelő modell tanítható.

Hol tart most

2026 végén a vezető érvelő és kódoló modellek tanításának bevett eleme. A kutatás fő iránya az, hogyan terjeszthető ki nehezebben ellenőrizhető területekre, és hogyan előzhető meg az ellenőrzők kijátszása.

Állapot: 2026. november

Más nevei

RLVR · reinforcement learning with verifiable rewards · RL with verifiable rewards · verifiable rewards · ellenőrizhető jutalmú megerősítéses tanulás · megerősítéses tanulás ellenőrizhető jutalommal · ellenőrizhető jutalmazás · igazolható jutalmú megerősítéses tanulás

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.