hiperparaméter
angolul: hyperparameter
A hiperparaméter olyan beállítás, amelyet nem a modell tanul meg, hanem a tanítás előtt kívülről adnak meg (a fejlesztő vagy egy automatikus keresőprogram), és amely megszabja, hogyan tanul a modell, és mekkora legyen.
Érthetően
Képzeld el, hogy kenyeret sütsz. A tészta a sütőben magától alakul át, de azt, hogy hány fokon és mennyi ideig süsd, neked kell előre eldöntened. A hiperparaméter a gépi tanulásban ugyanez: a sütő gombjai, nem a kenyér.
Egy AI-modell a tanítás során sok belső számot állít be magának az adatok alapján. A nagy modelleknél ezek száma akár több milliárd is lehet. Ezeket hívják paraméternek. A hiperparamétereket viszont nem a modell tanulja meg, hanem a fejlesztő választja ki előre: például azt, hogy mekkora lépésekben tanuljon a modell, hányszor nézze át az adatokat, vagy mekkora legyen maga a modell.
Azért fontos, mert ugyanabból az adatból rossz beállítással használhatatlan, jó beállítással kiváló modell lesz. A jó értékeket ritkán lehet kiszámolni, többnyire ki kell kísérletezni őket.
Hogyan működik
- A fejlesztő a tanítás előtt megadja a beállításokat, például a tanulási rátát (mekkora lépésekben javítson a modell), a tanítási körök számát és a modell méretét.
- A modell ezekkel a beállításokkal tanul az adatokon, és közben a saját belső paramétereit hangolja.
- A betanított modellt egy félretett, úgynevezett validációs adathalmazon mérik le. Ezeket az adatokat a modell a tanítás alatt nem látta, így kiderül, mennyire jól általánosít.
- A fejlesztő módosít a beállításokon, és újra tanít. Ezt hívják hiperparaméter-hangolásnak, amit ma már gyakran automatikus keresőprogramok végeznek.
- A legjobb eredményt adó beállításokkal készül el a végleges modell. A teljesítményét végül egy újabb, eddig egyáltalán nem használt tesztadathalmazon ellenőrzik.
Példa a mindennapokból
Amikor egy csevegőrobot beállításai között a „kreativitás” vagy „hőmérséklet” csúszkát tologatod, rokon dologgal találkozol: olyan beállítással, amelyet nem a modell tanult, hanem kívülről adnak meg neki. A különbség az, hogy ez nem a tanítást, hanem a válaszadást szabályozza. Ugyanaz a modell alacsony értéken kiszámíthatóbb, magasabb értéken változatosabb, néha csapongóbb válaszokat ad.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Nincs mindenre jó recept: ami az egyik adathalmazon és modellen bevált, a másikon gyenge eredményt adhat.
- A hangolás drága, mert minden kipróbált kombináció újabb tanítást jelent, nagy modelleknél jelentős gépidővel és energiafogyasztással.
- Ha a beállításokat addig csiszolják, amíg a tesztadatokon a legjobb szám jön ki, a modell a valós használatban gyengébben teljesíthet, mint amit a mérés ígért.
- A közzétett eredmények nehezen ismételhetők meg, ha a szerzők nem közlik pontosan a használt beállításokat.
Hasonló, de nem ugyanaz
- paraméter – A paramétert a modell maga tanulja meg az adatokból, a hiperparamétert az ember vagy egy keresőprogram állítja be a tanítás előtt.
- finomhangolás – A finomhangolás egy kész modell továbbtanítása új adatokon, a hiperparaméter-hangolás pedig a tanítás beállításainak keresgélése.
- prompt – A prompt a modellnek szóló szöveges utasítás használat közben, a hiperparaméter számszerű vagy szerkezeti beállítás, amely jellemzően a tanítást szabályozza.
Kapcsolódó fogalmak
gépi tanulás, modelltanítás
tanulási ráta, kötegméret, epochszám
paraméter, finomhangolás, túltanulás, validációs adathalmaz, AutoML, hőmérséklet
Röviden a története
A kifejezés a bayesi statisztikából származik. Ott azokat a számokat nevezték így, amelyek egy másik paraméterről alkotott előzetes feltevést (az úgynevezett a priori eloszlást) írnak le. A gépi tanulásban már az 1990-es években használták, a mélytanulás 2010-es évekbeli térhódításával pedig mindennapos szakszóvá vált.
Hol tart most
2026 végén a gépi tanulás alapfogalma, minden modell tanításánál jelen van. A hangolást egyre inkább automatikus eszközök végzik. A nagy nyelvi modelleknél a magas tanítási költség miatt csak kevés kombinációt lehet teljes méretben kipróbálni. Ezért a beállításokat gyakran kisebb modelleken keresik meg, és onnan vetítik ki a nagy modellre.
Más nevei
hiperparaméter · hiperparaméterek · hyperparameter · hyper-parameter · hiperparaméter-hangolás · hiperparaméter-optimalizálás · hyperparameter tuning · HPO
Források
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.