skálázási törvények
angolul: scaling laws
Tapasztalati összefüggések arról, hogy az AI-modell teljesítménye mennyit javul, ha növeljük a méretét, a tanítóadat mennyiségét és a számítási kapacitást.
Érthetően
A skálázási törvények nem jogszabályok és nem is természeti törvények, hanem megfigyelt szabályszerűségek. Azt írják le, hogy ha egy nyelvi modellt nagyobbra építenek, több szövegen tanítják és több számítógépidőt adnak neki, akkor a hibázása meglepően kiszámítható ütemben csökken.
Olyan ez, mint a sportoló edzésnaplója: ha látod, hogy eddig minden duplázott edzésmennyiség nagyjából mennyit javított az idődön, óvatosan megbecsülheted a következő lépést is. Itt is igaz, hogy minden újabb javulásért egyre többet kell beletenni: a teljesítmény nem egyenes arányban nő, a ráfordítást jellemzően meg kell sokszorozni egy-egy újabb lépésért.
Ezért fontosak: a fejlesztő cégek részben ezek alapján döntik el, érdemes-e milliárdokat költeni egy nagyobb modellre és a hozzá szükséges adatközpontra. A skálázási törvények azt is megmagyarázzák, miért lett az AI-verseny részben chip-, áram- és adatközpontverseny.
Miben más ez, mint egy új ötlet vagy találmány? Itt nem az a kérdés, hogyan lehet okosabb módszert kitalálni, hanem az, hogy mennyit hoz, ha ugyanabból a módszerből egyszerűen többet használunk.
Hogyan működik
- A kutatók ugyanabból a modelltípusból sok változatot tanítanak be: kisebbet és nagyobbat, kevesebb és több adattal, rövidebb és hosszabb tanítással.
- Mindegyiknél megmérik, mennyit hibázik a modell, például milyen pontosan találja el a szöveg következő szavát.
- Az eredményeket grafikonra teszik, és azt látják, hogy a pontok szabályos görbére illeszkednek: a hiba úgynevezett hatványfüggvény szerint csökken. Ez azt jelenti, hogy a ráfordítás minden tízszerezése nagyjából ugyanakkora arányban csökkenti a hibát, de egy bizonyos szint alá nem lehet lejutni.
- A görbét meghosszabbítva megbecsülik, mire lenne képes egy még meg sem épített, sokkal nagyobb modell, és mennyibe kerülne a betanítása.
- Kiszámolják az arányokat is: adott költségkeretből mekkora modellt és mennyi adatot érdemes választani, hogy a pénz a legjobban hasznosuljon.
Példa a mindennapokból
Azt olvasod a hírekben, hogy egy AI-cég több tízmilliárd dollárért épít új adatközpontot, amely annyi áramot fogyaszt, mint egy nagyváros. A döntés mögött a skálázási törvények állnak: a cég arra számít, hogy a több számítási kapacitás kiszámíthatóan jobb modellt eredményez, amely aztán a te csevegőalkalmazásodban is megjelenik.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A görbék csak addig megbízhatók, ameddig a mérések tartanak; az azon túli előrejelzés becslés, nem tény.
- A javulás egyre drágább: minden újabb lépéshez a korábbinál sokszor több chip, áram és pénz kell, ami gazdasági és környezeti korlátot jelent.
- A jó minőségű tanítóadat véges. Az eredeti törvények feltételezték, hogy mindig van elég új adat; ha az adatot ismételni kell, vagy gyengébb minőségű adattal kell pótolni, a javulás lassul.
- A hírekben a fogalmat gyakran üzleti érvként használják, ezért érdemes megnézni, hogy aki hivatkozik rá, annak milyen érdeke fűződik a folytatódó skálázáshoz.
Hasonló, de nem ugyanaz
- Moore-törvény – A Moore-törvény azt a megfigyelést írja le, hogy a chipeken lévő tranzisztorok száma nagyjából kétévente megduplázódik. A skálázási törvények pedig arról szólnak, hogy a ráfordított erőforrás mennyi javulást hoz az AI-modell teljesítményében.
- skálázhatóság – A skálázhatóság azt jelenti, hogy egy rendszer bírja-e a több felhasználót vagy terhelést, a skálázási törvények viszont a modell minőségének növekedését írják le.
- benchmark – A benchmark egyetlen modell teljesítményét méri egy adott feladatsoron, a skálázási törvény viszont sok mérésből rajzolt trend, amelyből előre lehet becsülni.
Kapcsolódó fogalmak
Chinchilla-skálázás, következtetési idejű skálázás, számításoptimális tanítás
nagy nyelvi modell, paraméter, számítási kapacitás, tanítóadat, Moore-törvény
Röviden a története
Hasonló szabályszerűségeket már 2017-ben leírtak a Baidu kutatói, de a fogalom 2020-ban vált széles körben ismertté, amikor az OpenAI kutatói (Jared Kaplan és társai) közzétették a nyelvi modellek skálázási törvényeiről szóló tanulmányukat. 2022-ben a DeepMind „Chinchilla” néven ismert tanulmánya (Jordan Hoffmann és társai) pontosította az arányokat: kimutatta, hogy a korábbi modelleket a méretükhöz képest túl kevés adaton tanították. Azóta a cégek a kisebb modelleket gyakran a Chinchilla-aránynál jóval több adaton tanítják, mert így a modell használata olcsóbb lesz.
Hol tart most
2026 végén a skálázási törvények a nagy AI-fejlesztők beruházási döntéseinek bevett alapját adják, de élénk vita folyik arról, mennyire csökken a megtérülés. A figyelem egyre inkább arra is kiterjed, hogy a modell válaszadás közben mennyi számítást, „gondolkodási időt” kap.
Más nevei
skálázási törvények · skálázási törvény · scaling laws · neural scaling laws · neurális skálázási törvények · skálázódási törvények · Chinchilla scaling · AI scaling
Források
- Kaplan et al.: Scaling Laws for Neural Language Models (arXiv, 2020)
- Hoffmann et al.: Training Compute-Optimal Large Language Models (arXiv, 2022)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.