GRPO

angolul: group relative policy optimization

szakmaiterjedő

Olyan tanítási módszer, amelyben az AI-modell egy feladatra több választ ad, és azokból tanul, amelyek a csoport átlagánál jobban sikerültek.

Érthetően

Képzeld el, hogy egy tanár ugyanazt a feladatot nyolcszor oldatja meg egy diákkal, mindegyik megoldást lepontozza, majd megmutatja, melyik lett jobb a nyolc átlagánál, és melyik rosszabb. Nem maga a pontszám számít, hanem az átlagtól való eltérés. A diák a jobbakhoz vezető gondolatmenetet erősíti, a gyengébbeket elhagyja. A GRPO ugyanezt csinálja egy nyelvi modellel.

A módszer a megerősítéses tanulás családjába tartozik: a modell nem kész mintaválaszokat másol, hanem próbálkozik, és a próbálkozásaira pontszámot kap. Főleg arra használják, hogy a modell jobban tudjon lépésről lépésre gondolkodni, például matematikai feladatokon vagy programozásban.

A korábbi eljárásoknál egy külön „becslő” modellt is tanítani kellett, amely megjósolta, mennyire jó egy helyzet. A GRPO ezt elhagyja: a viszonyítási alap maga a csoport átlaga. Ettől a tanítás egyszerűbb, és kevesebb memória és számítás kell hozzá.

Hogyan működik

A modell ugyanarra a kérdésre több különböző választ készít, ez a csoport.
Egy pontozó minden választ értékel, például ellenőrzi, hogy helyes-e a végeredmény, vagy lefut-e a megírt program.
A rendszer kiszámolja a csoport átlagát és szórását, és minden válasznál megnézi, mennyivel lett jobb vagy rosszabb az átlagnál.
A modell belső beállításai úgy módosulnak, hogy az átlag feletti válaszok valószínűbbek legyenek, az átlag alattiak ritkábbak.
Egy fék gondoskodik róla, hogy egy lépésben a modell ne változzon túl sokat, és ne távolodjon el nagyon a kiinduló állapotától.

Példa a mindennapokból

Egy „gondolkodó” csevegőmodell a matekpéldánál előbb hosszan levezeti a megoldást, és csak utána ad választ. A nyílt modelleknél, például a DeepSeek-R1-nél, ezt a képességet GRPO-val erősítették meg: a modell a tanítás során rengeteg feladatot oldott meg többféleképpen, és a helyes végeredményhez vezető levezetések váltak benne valószínűbbé. A zárt modellek gyártói többnyire nem közlik, pontosan milyen módszert használnak.

Kit érint

fejlesztőHa saját feladatra akarsz nyílt modellt finomhangolni, a GRPO az egyik legkönnyebben elérhető megerősítéses módszer, több nyílt eszköz is támogatja. → Kód

vállalkozó, vezetőA módszer egyszerűbbé és olcsóbbá tette a gondolkodó modellek megerősítéses tanítását, így a saját célra szabott modell kisebb csapatoknak is reálisabb lett.

szülő, diák, tanárA lépésenként levezető, feladatmegoldó AI-segédek mögött gyakran ilyen tanítás áll. Érdemes tudni, hogy ilyenkor a modellt jellemzően a helyes végeredményért jutalmazták, nem a jó magyarázatért, ezért a levezetés lehet hibás vagy félrevezető akkor is, ha a végeredmény jó. → Oktatás és család

Gyakori félreértés

TévhitA GRPO egy újfajta AI-modell, amelyet le lehet tölteni és használni lehet.

ValójábanA GRPO nem modell, hanem tanítási eljárás: azt írja le, hogyan javítanak egy már meglévő modellt próbálkozások és pontozás útján.

Korlátok és kockázatok

Csak ott működik jól, ahol a választ automatikusan és megbízhatóan pontozni lehet (programmal, ellenőrző szabállyal vagy bíráló modellel); ha nincs megbízható pontozó, a modell nem tudja, mihez igazodjon.
A modell hajlamos kijátszani a pontozót: megtanulhatja, mivel lehet magas pontot szerezni anélkül, hogy a feladatot valóban jól oldaná meg.
Minden kérdésre sok választ kell legyártani, ezért a tanítás így is sok számítást igényel.
Ha a csoport minden válasza egyformán jó vagy egyformán rossz, nincs különbség, amiből tanulni lehetne, így a túl könnyű és a túl nehéz feladatok keveset érnek.

Hasonló, de nem ugyanaz

PPO (proximális stratégiaoptimalizálás) – A PPO külön értékbecslő modellt tanít viszonyítási alapnak, a GRPO ehelyett a válaszcsoport átlagát használja.
felügyelt finomhangolás – A felügyelt finomhangolásnál a modell kész mintaválaszokat utánoz, a GRPO-nál saját próbálkozásaiból és azok pontszámából tanul.
RLHF (megerősítéses tanulás emberi visszajelzésből) – Az RLHF azt mondja meg, honnan jön a jutalom (emberi ítéletekből), a GRPO pedig azt, hogyan frissül a modell a jutalom alapján.

Kapcsolódó fogalmak

Tágabb

megerősítéses tanulás, finomhangolás, gépi tanulás

Szűkebb

–

Rokon

PPO (proximális stratégiaoptimalizálás), RLHF, jutalomfüggvény, gondolkodó modell, gondolatmenet-lánc

Röviden a története

A módszert a DeepSeek kutatói írták le egyetemi társszerzőkkel 2024 februárjában, a DeepSeekMath című tanulmányukban. Széles körben 2025 januárjában vált ismertté, amikor a DeepSeek-R1 gondolkodó modell tanításának egyik kulcselemeként mutatták be.

Hol tart most

2026 végén a GRPO a nyílt gondolkodó modellek megerősítéses tanításának egyik bevett kiindulópontja, a népszerű nyílt tanítóeszközök támogatják. A kutatók közben sorra közlik a javított változatait, amelyek a stabilitási és torzítási gondjait orvosolják.

Állapot: 2026. november

Más nevei

GRPO · group relative policy optimization · Group Relative Policy Optimization · csoportrelatív stratégiaoptimalizálás · csoporthoz viszonyított stratégiaoptimalizálás · csoportrelatív policy-optimalizálás · GRPO-tanítás · GRPO algoritmus

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.