kvantálás
angolul: quantization
A kvantálás az AI-modell számainak durvább, kevesebb helyet foglaló tárolása, hogy a modell kisebb és gyorsabb legyen, csekély minőségromlás árán.
Érthetően
Egy nyelvi modell több milliárd számból áll, ezek a „súlyok”, amelyekben a tanult tudása lakik. Eredetileg mindegyiket nagy pontossággal, sok tizedesjeggyel tárolják, ezért egy komolyabb modell több tíz vagy több száz gigabájtot foglal, és drága szervergép kell hozzá.
A kvantálás olyan, mint amikor a fényképet JPEG-be tömöríted, vagy amikor a boltban 1999,90 forint helyett 2000-rel számolsz. Minden szám kap egy kerekített, rövidebb változatot. Külön-külön mindegyik pontatlanabb lesz, de az összkép alig változik.
A haszna az, hogy a modell a méretének a felére, negyedére vagy még kisebbre zsugorodik, kevesebb memória és áram kell neki, és gyakran gyorsabban is válaszol. Így futhat nyelvi modell laptopon vagy telefonon is, internetkapcsolat nélkül.
Más, mint a modell újratanítása vagy lecserélése egy kisebbre: itt ugyanaz a modell marad, ugyanazzal a felépítéssel, csak takarékosabban tárolva.
Hogyan működik
- Kiindulás: a kész, betanított modell súlyai jellemzően 16 vagy 32 biten tárolt törtszámok, vagyis nagyon finom beosztású skálán mozognak.
- Skála kijelölése: a program megnézi, milyen tartományban szóródnak a számok egy-egy rétegben, és ezt a tartományt kevés, például 16 vagy 256 lépcsőfokra osztja.
- Kerekítés: minden súly a hozzá legközelebbi lépcsőfok értékét kapja, így 16 vagy 32 bit helyett elég 8, 4 vagy még kevesebb bit a tárolásához.
- Ellenőrzés és finomítás: mintaszövegeken megmérik, mennyit romlott a modell, és a kényesebb részeket pontosabban hagyják. Alaposabb módszereknél a modellt már tanítás közben hozzászoktatják a kerekítéshez.
- Futtatás: a kisebb számokkal a gépnek kevesebb memória kell, és többnyire gyorsabban is számol, ezért a modell gyengébb hardveren is elindul.
Példa a mindennapokból
Letöltesz a laptopodra egy ingyenes nyelvi modellt, és a fájl nevében ilyet látsz: „Q4” vagy „4-bit”. Ez azt jelzi, hogy kvantált változatot kaptál: az eredeti talán 30 gigabájtos modell így 8–9 gigabájtba fér bele, és egy átlagos gépen is elfut, cserébe néha kicsit pontatlanabbul válaszol.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Minél erősebb a tömörítés, annál nagyobb a minőségromlás: 8 biten ez általában elhanyagolható, 4 bit alatt viszont gyorsan nő.
- A romlás nem egyenletes: a modell az egyik feladatban ugyanolyan jó maradhat, a másikban látványosan gyengülhet, ezért a saját feladatodon érdemes kipróbálnod.
- A kisebb nyelveken, így magyarul is, a veszteség nagyobb lehet, mint amit az angol nyelvű mérések mutatnak.
- Egy kvantált modell tesztjeit ne tekintsd az eredeti modell eredményének, és fordítva sem: a gyártó által közölt pontszámok többnyire a teljes pontosságú változatra vonatkoznak.
Hasonló, de nem ugyanaz
- modelldesztilláció – A desztillációnál egy új, kisebb modellt tanítanak be a nagy modell utánzására, a kvantálásnál viszont ugyanaz a modell marad, csak a számait tárolják durvábban.
- metszés (pruning) – A metszés a kevésbé fontos súlyokat teljesen eltávolítja a modellből, a kvantálás minden súlyt megtart, csak kisebb pontossággal.
- kvantumszámítás – A névrokonság ellenére a kvantálásnak semmi köze a kvantumszámítógépekhez: hagyományos gépeken végzett kerekítésről van szó.
Kapcsolódó fogalmak
modelltömörítés, modelloptimalizálás
tanítás utáni kvantálás, kvantálástudatos tanítás, 4 bites kvantálás
modelldesztilláció, metszés, helyben futó modell, nyílt súlyú modell, következtetés (inference)
Röviden a története
A kvantálás a 20. századi jelfeldolgozásból ered: így lesz a folytonos hangból és képből digitális adat. A neurális hálókra a mobiltelefonos futtatás igénye miatt kezdték széles körben alkalmazni; ennek egyik alapműve a Google kutatóinak 2017-ben közzétett tanulmánya a csak egész számokkal számoló hálókról.
Hol tart most
2026 végén a kvantálás bevett gyakorlat: a nyílt súlyú modellek szinte mindegyikéhez elérhető több kvantált változat, és a telefonokon, laptopokon helyben futó AI-funkciók is erre épülnek. A kutatás a nagyon erős, 2 bit körüli tömörítés minőségének javításán dolgozik.
Más nevei
kvantálás · kvantizálás · kvantizáció · quantization · quantisation · kvantált modell · PTQ (post-training quantization) · QAT (quantization-aware training)
Források
- Wikipedia: Quantization (signal processing)
- Jacob et al.: Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (arXiv, 2017)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.