Fogalomtár › Tanítás és adat

PPO

angolul: Proximal Policy Optimization

Olyan tanítási módszer, amelyben az AI próbálkozásokból, jutalmak alapján tanul, de egyszerre mindig csak kicsit változtathat a viselkedésén.

Érthetően

A PPO a megerősítéses tanulás egyik legismertebb módszere. Ebben a tanulási formában a gép nem kész példákból tanul, hanem próbálkozik, és a jó lépésekért jutalmat, a rosszakért büntetést kap.

Képzeld el, hogy teniszezni tanulsz. Ha egy jól sikerült ütés után az egész mozdulatodat átalakítod, könnyen elrontod azt is, ami addig működött. A jó edző ezért azt mondja: egyszerre csak keveset változtass. A PPO ugyanezt a szabályt építi be a gép tanulásába: minden körben csak kis lépést enged a korábbi viselkedéshez képest.

Ettől a tanulás kiszámíthatóbb lesz, és ritkábban omlik össze. A korábbi, hasonlóan megbízható módszerekhez képest ráadásul egyszerűbb megvalósítani, ezért lett sok kutató és fejlesztő alapértelmezett választása játékoknál és robotoknál. A csevegő nyelvi modellek emberi visszajelzésre épülő finomhangolásában is fontos szerepet kapott, bár ott ma már többnyire újabb, rokon eljárásokat használnak.

Hogyan működik

1. Az agent a jelenlegi stratégiájával (angolul policy, vagyis az a szabályrendszer, amely megmondja, mikor mit lépjen) sokszor végigjátssza a feladatot, és rögzíti, mit lépett és mennyi jutalmat kapott.
2. A rendszer kiszámolja, mely lépések sikerültek a vártnál jobban, és melyek rosszabbul.
3. A stratégiát úgy módosítja, hogy a jobb lépések valószínűbbek legyenek, a rosszabbak ritkábbak.
4. Egy beépített korlát (a „vágás”, angolul clipping) visszafogja a túl nagy változtatást: az agent nem nyer semmit azzal, ha az új stratégia nagyon eltávolodik a régitől, bármilyen csábító is egy nagy ugrás.
5. Az agent az új stratégiával friss tapasztalatot gyűjt, és a kör kezdődik elölről. Ez több ezerszer is megismétlődhet, miközben összesen sok millió, nagy feladatoknál akár több milliárd lépésnyi tapasztalat gyűlik össze.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Rengeteg próbálkozás kell hozzá, ezért többnyire szimulációban tanítanak vele, mert a valóságban ez lassú, drága vagy veszélyes volna.
• Az eredmény erősen függ a beállításoktól és az apró megvalósítási részletektől, ugyanaz a módszer két csapatnál nagyon eltérően teljesíthet.
• Ha a jutalmat rosszul határozzák meg, az agent kiskaput talál: azt tanulja meg, amiért pontot kap, nem azt, amit valójában akartak tőle.
• A szimulációban megtanult viselkedés a valós világban nem mindig működik ugyanolyan jól.

Hasonló, de nem ugyanaz

• megerősítéses tanulás – A megerősítéses tanulás az egész terület neve, a PPO ezen belül egyetlen konkrét módszer.
• Q-tanulás – A Q-tanulás azt becsüli, mennyit ér egy-egy lépés, a PPO viszont közvetlenül a viselkedési stratégiát javítja.
• finomhangolás – A finomhangolás egy kész modell továbbtanítását jelenti bármilyen módszerrel, a PPO ennek csak az egyik lehetséges eszköze.

Kapcsolódó fogalmak

Röviden a története

A módszert 2017-ben tették közzé az OpenAI kutatói, John Schulman vezetésével. Egy korábbi, megbízható, de bonyolult eljárás (TRPO) egyszerűbb változatának szánták, és néhány év alatt a terület egyik alapmódszere lett.

Hol tart most

2026 végén a PPO a megerősítéses tanulás egyik alapértelmezett módszere, különösen a robotikában és a szimulációs tanításban. A nyelvi modellek tanításában mellette több újabb, rokon eljárást is használnak.

Állapot: 2026. november

Más nevei

PPO · Proximal Policy Optimization · proximális stratégiaoptimalizálás · proximális politikaoptimalizálás · proximális házirend-optimalizálás · PPO-algoritmus · PPO algorithm · PPO-Clip

Források

• Schulman et al.: Proximal Policy Optimization Algorithms (arXiv, 2017)
• Wikipedia: Proximal policy optimization

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.