tanulási ráta (LR)
angolul: learning rate
A tanulási ráta azt szabja meg, mekkora lépésekben módosítja magát egy MI-modell tanítás közben, amikor a hibáiból tanul.
Érthetően
Képzeld el, hogy sűrű ködben próbálsz lejutni egy hegyről a völgybe. Csak azt érzed a talpad alatt, merre lejt a talaj, ezért mindig abba az irányba lépsz. A tanulási ráta az, hogy mekkorát lépsz egyszerre.
Ha túl nagyokat lépsz, átugrod a völgyet, és a szemközti oldalon kötsz ki, akár magasabban, mint ahonnan indultál. Ha túl aprókat, akkor biztonságosan haladsz, de napokig tart az út, és megrekedhetsz egy kis mélyedésben, amelyet völgynek hiszel.
A modell tanítása ugyanígy zajlik: a „völgy” az az állapot, ahol a modell a legkevesebbet hibázik. A tanulási ráta nem a modell tudásának része, hanem a tanítás egyik beállítása, amelyet a fejlesztők választanak meg, és amelyen gyakran a tanítás sikere múlik.
Hogyan működik
- A modell kap egy adag tanítópéldát, választ ad rájuk, és a rendszer kiszámolja, mennyit tévedett.
- Egy matematikai eljárás megmutatja, hogy a modell belső számait (a súlyokat) melyik irányba kellene elmozdítani, hogy a hiba csökkenjen.
- A tanulási ráta egy kis szám (például 0,001). Egyszerűsítve: ezzel szorozzák meg a javítást, és ettől függ, hogy a modell egy lépésben nagyot vagy csak egészen picit változik.
- Ez a kör sok ezerszer vagy milliószor megismétlődik, és a modell fokozatosan egyre jobb lesz.
- A gyakorlatban a ráta ritkán állandó. Többnyire alacsony értékről indul, rövid idő alatt felfut a kívánt szintre, majd a tanítás vége felé fokozatosan csökken, hogy a modell finoman „beálljon” a jó megoldásra.
Példa a mindennapokból
Egy cég a saját ügyfélszolgálati leveleivel szeretne finomhangolni egy nyelvi modellt. Ha a fejlesztő túl magas tanulási rátát állít be, a modell „elfelejtheti” a korábbi általános tudását, és zagyva válaszokat adhat. Ha túl alacsonyat, a drága számítás ugyanúgy lefut, de a modell alig változik, ezért újra kell futtatni.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Nincs minden esetre érvényes jó érték: modelltől, adattól és feladattól függ, ezért rendszerint próbálgatással kell megtalálni.
- A túl magas ráta instabil tanításhoz vezet, finomhangolásnál pedig tönkreteheti a modell meglévő tudását.
- A túl alacsony ráta lassú és drága tanítást jelent, és a modell megrekedhet egy közepes megoldásnál.
- A tanulási ráta csak a tanítás idején számít: a kész modell használata közben (amikor például csevegsz vele) már nem játszik szerepet.
Hasonló, de nem ugyanaz
- tanulási görbe – A tanulási görbe azt mutatja, hogyan javul a modell teljesítménye a tanítás során, a tanulási ráta pedig egy beállítás, amely ezt a javulást befolyásolja.
- hőmérséklet (temperature) – A hőmérséklet a kész modell válaszainak változatosságát szabályozza használat közben, a tanulási ráta viszont a tanítás lépésméretét.
- epoch (tanítási kör) – Az epoch azt jelenti, hányszor megy végig a modell a teljes tanítóadaton, a tanulási ráta pedig azt, mekkorát változik egy-egy lépésben.
Kapcsolódó fogalmak
hiperparaméter, gépi tanulás, modelltanítás
tanulásiráta-ütemezés, bemelegítés (warmup), adaptív tanulási ráta
gradiensereszkedés, hibavisszaterjesztés, veszteségfüggvény, finomhangolás, túltanulás
Röviden a története
A lépésméret gondolata a matematikai optimalizálásból ered. A lejtő irányában lépkedő módszert (gradiensereszkedés) Augustin-Louis Cauchy már 1847-ben leírta. Herbert Robbins és Sutton Monro 1951-es munkája megmutatta, hogyan lehet véletlenszerű mintákból, fokozatosan csökkenő lépésekkel közelíteni a megoldáshoz. A mai tanítási módszerek erre épülnek. A neurális hálók korai tanulási szabályai az 1950–60-as években már használtak lépésméretet. Központi beállítássá azonban a hibavisszaterjesztés 1986-os népszerűsítése után vált. A súlyonként automatikusan igazodó lépésméret ötletét korábbi módszerek vezették be (például az AdaGrad, 2011). Széles körben a 2014-ben bemutatott Adam módszer terjesztette el.
Hol tart most
2026 végén gyakorlatilag minden neurális háló tanításának alapbeállítása. A ráta értékét a tanítás során ma többnyire ütemezők és adaptív optimalizálók igazítják. Az alap- vagy csúcsértéket azonban továbbra is jellemzően embernek vagy automatikus keresésnek kell megválasztania.
Más nevei
tanulási ráta · tanulási sebesség · tanulási tényező · tanulási együttható · lépésköz · learning rate · step size · LR
Források
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.