LoRA

angolul: Low-Rank Adaptation

szakmaielterjedt

Olyan takarékos finomhangolási módszer, amely a nagy AI-modellt érintetlenül hagyja, és csak egy kicsi, cserélhető kiegészítőt tanít be mellé az új feladatra.

Érthetően

Képzeld el, hogy van egy több ezer oldalas szakkönyved, és szeretnéd a saját szakterületedhez igazítani. Újraírhatnád az egészet, de sokkal olcsóbb, ha a könyvhöz nem nyúlsz, csak öntapadós jegyzetlapokat ragasztasz a megfelelő oldalakra. A LoRA ugyanezt csinálja egy AI-modellel: az eredeti modell változatlan marad, a jegyzetlapok pedig a kicsi, külön betanított kiegészítők.

Erre azért van szükség, mert egy nagy nyelvi modell több milliárd beállítható számból (paraméterből) áll, és mindet újratanítani drága, lassú és rengeteg számítógépes erőforrást kíván. A LoRA-val ennek a töredékét kell csak tanítani, így egy cég vagy akár egy magánszemély is saját ízlésére formálhat egy modellt, sokszor egyetlen erős videokártyán.

A kiegészítő (gyakran LoRA-adapternek hívják) egy kis fájl, jellemzően néhány megabájttól néhány száz megabájtig terjed, miközben maga a modell több tíz gigabájt is lehet. Ugyanahhoz az alapmodellhez több adaptert is tarthatsz, például egyet jogi szövegekhez, egyet ügyfélszolgálati hangnemhez, és cserélgetheted őket, mint a fényképezőgép objektívjeit.

Hogyan működik

Az alapmodell összes eredeti paraméterét „befagyasztják”, vagyis a tanítás során egyik sem változik.
A modell kiválasztott rétegei mellé két-két kicsi számtáblázatot (mátrixot) illesztenek. Ezek szorzata adja meg, mennyivel kellene módosítani az adott réteg működését.
Az „alacsony rang” azt jelenti, hogy ezek a táblázatok szándékosan keskenyek. A feltevés az, hogy egy új feladathoz szükséges változás néhány fő irányba sűríthető, ezért nem kell hozzá a teljes, hatalmas táblázat.
A tanítás során csak ezek a kis táblázatok tanulnak a saját példáidból, ami gyakran a teljes paraméterszám egy százalékánál is kevesebb.
Használatkor az adaptert vagy a modell mellé töltik be, vagy véglegesen beleolvasztják a modellbe. Az utóbbi esetben a válaszadás semmivel sem lassabb, mint az eredeti modellnél.

Példa a mindennapokból

Egy képgeneráló oldalon kiválasztasz egy „akvarell stílus” vagy egy adott rajzfilmfigurát ismerő kiegészítőt, és a képeid rögtön abban a stílusban készülnek. Ez a letölthető kis fájl nagyon gyakran egy LoRA: ugyanaz az alapmodell fut, csak más jegyzetlapokkal.

Kit érint

fejlesztőEz a legelterjedtebb módja annak, hogy megfizethető hardveren szabj testre nyílt modelleket, és egy alapmodellhez több feladatspecifikus adaptert tarts karban. → Kód

vállalkozó, vezetőTöredékköltséggel kaphatsz a céged szóhasználatára és feladataira hangolt modellt, akár úgy is, hogy az adataid nem hagyják el a saját gépeidet.

marketingesKépgenerálásnál LoRA-val tanítható meg a modellnek a márkád vizuális stílusa, egy termék vagy egy állandó karakter. → Marketing

jogász, állampolgárNéhány fényképből bárkinek az arcára vagy egy alkotó stílusára készíthető LoRA, ami szerzői jogi, személyiségi jogi és deepfake-kérdéseket vet fel. → Jog

Gyakori félreértés

TévhitA LoRA egy önálló, kicsi AI-modell, amelyet magában is lehet futtatni.

ValójábanA LoRA csak kiegészítő: mindig ahhoz az alapmodellhez kell, amelyikhez készült, nélküle semmire sem jó. Más modellel vagy modellverzióval jellemzően nem működik.

Korlátok és kockázatok

A LoRA főleg stílust, hangnemet és feladatmintát tanít meg; ha a modellnek friss vagy gyakran változó tényeket kell tudnia, arra a dokumentumkeresésre épülő megoldás (RAG) általában alkalmasabb.
Nagyon összetett vagy az alapmodell tudásától távol eső feladatoknál gyengébb eredményt adhat, mint a teljes finomhangolás.
Kevés vagy egyoldalú tanítópéldával a modell „túltanul”: visszamondja a példákat, és máshol romlik a teljesítménye.
Az internetről letöltött adapterek eredete és tartalma ellenőrizetlen lehet, sőt egy adapter az alapmodell beépített biztonsági korlátait is gyengítheti, ezért csak megbízható forrásból használd.

Hasonló, de nem ugyanaz

Teljes finomhangolás – Ott a modell minden paramétere módosul, és egy teljes új modellpéldány keletkezik, míg a LoRA csak egy kis kiegészítőt tanít az érintetlen modell mellé.
RAG (kereséssel bővített generálás) – A RAG nem tanítja a modellt, hanem válaszadáskor külső dokumentumokat ad a kezébe, a LoRA viszont magát a modell viselkedését változtatja meg.
LoRa (rádiós technológia) – A kis „a”-val írt LoRa egy nagy hatótávú, kis fogyasztású rádiós adatátviteli technológia okoseszközökhöz és érzékelőkhöz (erre épül a LoRaWAN hálózati szabvány), és semmi köze a mesterséges intelligenciához.

Kapcsolódó fogalmak

Tágabb

Finomhangolás, Paraméterhatékony finomhangolás, Transzfertanulás

Szűkebb

QLoRA, DoRA, LoRA-adapter

Rokon

Alapmodell, Kvantálás, RAG, Nyílt forráskódú modell, Diffúziós modell

Röviden a története

A módszert a Microsoft kutatói (Edward Hu és társai) írták le 2021-ben, eredetileg nagy nyelvi modellek olcsóbb testreszabására. Hamar átvették a képgeneráló modellek felhasználói is, akik stílusok és szereplők megtanítására kezdték használni.

Hol tart most

2026 végén a LoRA a nyílt modellek testreszabásának alapértelmezett módszere mind a nyelvi, mind a képgeneráló modelleknél. A főbb fejlesztői eszköztárak beépítve támogatják, és több felhős szolgáltató finomhangolási kínálata is erre épül.

Állapot: 2026. november

Más nevei

LoRA · low-rank adaptation · alacsony rangú adaptáció · alacsony rangú illesztés · LoRA-adapter · LoRA-finomhangolás · LoRA fine-tuning · LoRA-modell

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.