gradiens-ereszkedés (GD)

angolul: gradient descent

haladóelterjedt

A gradiens-ereszkedés az a módszer, amellyel egy MI-modell apró lépésekben, a hibáját fokozatosan csökkentve hangolja be saját belső beállításait.

Érthetően

Képzeld el, hogy sűrű ködben állsz egy hegyoldalon, és le akarsz jutni a völgybe. Nem látod az utat, de a talpad alatt érzed, merre lejt a talaj. Arra lépsz egyet, megint kitapogatod a lejtőt, megint lépsz. A gradiens-ereszkedés pontosan így működik, csak a hegy helyén a modell hibája áll: minél lejjebb jutsz, annál kevesebbet téved a modell.

Egy MI-modell rengeteg állítható számból, úgynevezett paraméterből áll, a nagy nyelvi modelleknél több milliárdból. A tanítás annyit jelent, hogy ezeket a számokat addig igazítják, amíg a modell jó válaszokat nem ad. A gradiens-ereszkedés mondja meg, hogy melyik számot merre és mennyivel érdemes elmozdítani.

Nem próbálgat vaktában, és nem is számolja ki előre a tökéletes megoldást. Mindig csak a közvetlen környezetét nézi, és a legmeredekebb lejtő irányába lép. Ezért egyszerű és jól gépesíthető, és ezért lehet vele óriási modelleket is tanítani.

Hogyan működik

A modell véletlenszerű beállításokkal indul, ezért eleinte szinte mindenben téved.
Kap néhány tanítópéldát, válaszol rájuk, és egy mérőszám (a veszteségfüggvény) megmutatja, mekkorát tévedett.
Kiszámolják a gradienst: ez minden egyes paraméterről megmondja, hogy kis elmozdítása mennyivel növelné vagy csökkentené a hibát.
Minden paramétert egy kicsit a hibát csökkentő irányba tolnak. A lépés nagyságát a tanulási ráta szabja meg: ha túl nagy, a modell átugorja a völgyet, ha túl kicsi, a tanítás nagyon lassú lesz.
Ezt milliószor megismétlik újabb és újabb példákkal, amíg a hiba már alig csökken tovább.

Példa a mindennapokból

Amikor a telefonod billentyűzete eltalálja, milyen szót akarsz beírni, a háttérben egy ilyen módon tanított modell dolgozik. A fordítóprogramok, a képfelismerők és a csevegőrobotok is mind úgy készültek, hogy a modell méretétől függően órákig, hetekig vagy akár hónapokig ismételték ezt az apró lépésekből álló hibacsökkentést.

Kit érint

fejlesztőHa modellt tanítasz vagy finomhangolsz, a tanulási ráta és az optimalizáló megválasztása közvetlenül eldönti, sikerül-e a tanítás. → Kód

vállalkozó, vezetőA modelltanítás idejének és költségének nagy része ennek a sokszor ismételt számításnak a gépideje, így ebből érted meg, miért drága egy saját modell.

szülő, diák, tanárJó példa arra, hogy a gép „tanulása” valójában hibacsökkentő számolás, és a deriválás gyakorlati hasznát is megmutatja. → Oktatás és család

mindenkiSzinte minden MI-eszköz, amit ma használsz, ezzel a módszerrel tanult, ezért segít reálisan látni, mit tud és mit nem.

Gyakori félreértés

TévhitA gradiens-ereszkedés megtalálja a lehető legjobb modellt.

ValójábanCsak azt mutatja meg, merre csökken a hiba a közvetlen közelben, azt nem garantálja, hogy a legjobb megoldásnál áll meg. Rosszul megválasztott lépésnagyságnál a hiba átmenetileg még nőhet is. A gyakorlatban egy „elég jó” pontig jut el, és az eredmény függ a kiindulástól és a beállításoktól is.

Korlátok és kockázatok

Elakadhat vagy nagyon lelassulhat egy helyi mélyedésben, lapos fennsíkon vagy nyeregponton, ahonnan a közvetlen környezetét nézve nem látszik jobb irány.
Érzékeny a tanulási rátára: rosszul megválasztva a tanítás szétesik vagy alig halad.
Nagy modelleknél óriási számítási kapacitást és energiát igényel, mert a lépést rengetegszer kell megismételni.
Csak azt a hibát csökkenti, amit mérni tudsz: ha a tanítóadat torz vagy a cél rosszul van megfogalmazva, a modell a rossz célt tanulja meg nagyon jól.

Hasonló, de nem ugyanaz

hibavisszaterjesztés – A hibavisszaterjesztés kiszámolja a gradienst a neurális hálóban, a gradiens-ereszkedés pedig ennek alapján módosítja a paramétereket.
megerősítéses tanulás – A megerősítéses tanulás egy tanulási helyzet (jutalom alapján próbálkozó rendszer, például egy agent), a gradiens-ereszkedés pedig egy számítási eljárás, amelyet gyakran ezen belül is használnak.
finomhangolás – A finomhangolás egy kész modell továbbtanítása saját adaton, a gradiens-ereszkedés az a módszer, amellyel ez a továbbtanítás technikailag zajlik.

Kapcsolódó fogalmak

Tágabb

optimalizálás, gépi tanulás, modelltanítás

Szűkebb

sztochasztikus gradiens-ereszkedés, mini-batch tanítás, Adam optimalizáló

Rokon

hibavisszaterjesztés, veszteségfüggvény, tanulási ráta, paraméter, neurális háló

Röviden a története

A módszert Augustin-Louis Cauchy francia matematikus írta le 1847-ben, egyenletrendszerek megoldására. A véletlen mintákkal dolgozó, sztochasztikus változat alapjait Herbert Robbins és Sutton Monro fektette le 1951-ben. A neurális hálók tanításában az 1986-os hibavisszaterjesztés-tanulmány (Rumelhart, Hinton, Williams) után vált általánossá.

Hol tart most

2026 végén gyakorlatilag minden nagy MI-modellt, a nyelvi modelleket és a képgenerálókat is, a gradiens-ereszkedés valamelyik továbbfejlesztett változatával tanítják. A kutatás főleg a gyorsabb, kevesebb energiát igénylő változatokra irányul.

Állapot: 2026. november

Más nevei

gradiens-ereszkedés · gradiensereszkedés · gradiens módszer · gradiens süllyedés · legmeredekebb ereszkedés módszere · gradient descent · steepest descent

Források

Rumelhart, Hinton, Williams: Learning representations by back-propagating errors (Nature, 1986)

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.