QLoRA
angolul: Quantized Low-Rank Adaptation (QLoRA)
Takarékos finomhangolási módszer: a nagy nyelvi modellt összetömörítve töltik be, és csak apró kiegészítő rétegeket tanítanak rajta, így sokszor egyetlen videokártya is elég.
Érthetően
Egy nagy nyelvi modell saját feladatra szabása (finomhangolása) hagyományosan több drága szerver-videokártyát igényel, mert a modell több milliárd számból áll, és tanítás közben mindet a memóriában kell tartani. A QLoRA két trükköt kombinál, hogy ez sokkal kisebb gépen is menjen.
Képzeld el, hogy egy vaskos lexikont zsebkiadásban kapsz kézbe: kisebbek a betűk, elnagyoltabbak az ábrák, néhány finom részlet el is vész, de a tartalom lényegében ugyanaz. Ez a kvantálás, vagyis a modell számainak durvább, helytakarékos tárolása, amely kis pontosságvesztéssel jár. A zsebkiadásba nem írsz bele, hanem öntapadós jegyzetlapokat ragasztasz a lapokra a saját kiegészítéseiddel. Ezek a jegyzetlapok a LoRA-adapterek, és csak őket tanítod.
A sima LoRA-hoz képest a különbség az, hogy ott az eredeti modell teljes méretben ül a memóriában, a QLoRA-nál viszont összetömörítve. Ezért olyan modell is tanítható egy jobb otthoni vagy irodai videokártyán, amelyhez korábban drága szerver kellett.
Ettől lett a saját modell testreszabása kisebb cégek, kutatócsoportok és hobbifejlesztők számára is megfizethető, ráadásul az adatoknak nem kell elhagyniuk a saját gépet.
Hogyan működik
- Az alapmodell számait (súlyait) a szokásos 16 vagy 32 bit helyett 4 biten tárolják, így a modell a memória töredékét foglalja el.
- Ezt a tömörített modellt befagyasztják: a tanítás során egyetlen eredeti értéke sem változik.
- A modell rétegei mellé kicsi, tanítható kiegészítő mátrixokat (LoRA-adaptereket) illesztenek, amelyek a teljes modell méretének csak töredékét teszik ki.
- Tanítás közben a gép csak az adaptereket igazítja a saját példáidhoz; ezeket a tömörített modellnél nagyobb pontossággal tárolják, és nagyrészt ellensúlyozzák a tömörítésből eredő pontatlanságot.
- A végeredmény egy kis méretű adapterfájl, amelyet az alapmodellel együtt kell betölteni (vagy utólag össze is olvasztható vele), és más feladathoz másik adapterre cserélhető.
Példa a mindennapokból
Egy ügyvédi iroda nem akarja felhőbe tölteni az ügyfelei iratait, ezért a saját gépén, egyetlen erősebb videokártyán tanít be egy nyílt modellt a szerződésmintáira. Ezt a QLoRA teszi lehetővé: a tanítás jellemzően néhány óra alatt lefut, és az eredmény egy kis adapterfájl, amellyel a modell az iroda stílusában fogalmaz.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A tanítás lassabb, mint a sima LoRA-val, mert a tömörített súlyokat menet közben folyamatosan vissza kell alakítani.
- Az eredmény legfeljebb annyira jó, amennyire a tanítóadat: kevés vagy rossz minőségű példával a modell rossz szokásokat tanul meg.
- Új tényeket csak korlátozottan lehet így a modellbe tölteni; friss vagy gyakran változó tudáshoz jobb a keresésre épülő megoldás (RAG).
- Csak olyan modellen használható, amelynek a súlyaihoz hozzáférsz, vagyis a zárt, csak szolgáltatásként elérhető modelleken nem.
Hasonló, de nem ugyanaz
- LoRA – A LoRA is csak kis adaptereket tanít, de az alapmodellt teljes méretben tartja a memóriában, a QLoRA viszont 4 bitre tömörítve.
- Kvantálás – A kvantálás önmagában csak a modell tömörítése a futtatáshoz, a QLoRA ezt a tanítással kapcsolja össze.
- Teljes finomhangolás – A teljes finomhangolás a modell összes súlyát módosítja és nagy gépparkot igényel, a QLoRA csak a hozzáadott adaptereket tanítja.
Kapcsolódó fogalmak
Finomhangolás, Paraméterhatékony finomhangolás
–
LoRA, LoRA-adapter, Kvantálás, 4 bites kvantálás, Modelltömörítés, Nyílt súlyú modell, Helyben futtatott modell, Tudásdesztilláció
Röviden a története
A módszert 2023-ban publikálta Tim Dettmers és három szerzőtársa a Washingtoni Egyetemről. A LoRA-eljárásra épült, amelyet a Microsoft kutatói 2021-ben mutattak be.
Hol tart most
2026 végére a QLoRA a nyílt modellek finomhangolásának egyik alapértelmezett eljárása, a népszerű tanítóeszközök beépítve támogatják. Mellette számos továbbfejlesztett változat is megjelent.
Más nevei
QLoRA · QLORA · Q-LoRA · Quantized Low-Rank Adaptation · Quantized LoRA · kvantált LoRA · kvantált alacsony rangú adaptáció · 4 bites LoRA-finomhangolás
Források
- Dettmers et al.: QLoRA: Efficient Finetuning of Quantized LLMs (arXiv, 2023)
- Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models (arXiv, 2021)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.