Fogalomtár › Tanítás és adat

PEFT

angolul: parameter-efficient fine-tuning

Olyan módszercsalád, amellyel egy nagy AI-modellt úgy szabnak egy feladatra, hogy a belső beállításainak csak a töredékét tanítják újra.

Érthetően

Egy nagy nyelvi modell több milliárd apró belső beállításból, úgynevezett paraméterből áll. Ha a hagyományos módon akarod megtanítani valami újra, például a céged szakzsargonjára, mindet módosítani kell. Ez drága és lassú, a végén pedig egy újabb teljes méretű modellt kell tárolnod.

A PEFT olyan, mintha egy vaskos szakkönyvet nem írnál és nyomtatnál újra, hanem jegyzetlapokat ragasztanál bele a megfelelő oldalakra. A könyv érintetlen marad, a jegyzetek viszik az új tudást. Ha más témához kell a könyv, csak a jegyzetlapokat cseréled.

A gyakorlatban a modell paramétereinek jellemzően az 1 százalékánál is kevesebbet tanítják, a többit „befagyasztják”. Az eredmény sok feladaton megközelíti a teljes finomhangolásét, miközben jóval kevesebb memória kell hozzá, és a tanítás is gyorsabb. Az elkészült kiegészítő jellemzően néhány megabájttól néhány száz megabájtig terjed, míg egy teljes modell több gigabájt, gyakran több tíz gigabájt.

Ezért tud ma egy kisebb cég, kutatócsoport vagy akár egy hobbista is saját célra szabni egy nyílt modellt, akár egyetlen erősebb videokártyán.

Hogyan működik

1. Kiindulásnak fogsz egy már betanított, általános tudású alapmodellt, és az összes eredeti paraméterét befagyasztod, vagyis ezek a tanítás alatt nem változnak.
2. A modellhez kis, tanítható kiegészítést adsz. Ez lehet a rétegek mellé illesztett kis mátrixpár (LoRA), a rétegek közé szúrt apró modul (adapter), vagy a bemenet elé tett tanítható „súgó” vektorok (prompt- és prefixhangolás).
3. A saját példáidon tanítod a modellt, de a tanulás csak a kiegészítést módosítja. Ezért kevesebb memória és idő kell, és kevesebb adat is elég lehet.
4. A végén a kiegészítést külön kis fájlként elmented. Használatkor rátöltöd az alapmodellre. A LoRA-típusú kiegészítést végleg bele is olvaszthatod a modellbe, így a válaszadás nem lesz lassabb.
5. Egy alapmodellhez sok ilyen kiegészítés készülhet, például egy jogi, egy ügyfélszolgálati és egy orvosi, és ezek igény szerint cserélhetők.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Ha az új feladat nagyon messze esik attól, amit az alapmodell tud (például egy teljesen új nyelv vagy szakterület), a kis kiegészítés kevés lehet.
• A kiegészítés csak azzal az alapmodellel működik, amelyhez készült, ezért modellváltáskor újra kell tanítani.
• A rossz vagy elfogult tanítóadat hibáit ugyanúgy átveszi, és az alapmodell tévedéseit, torzításait sem szünteti meg.
• Az internetről letöltött, ismeretlen eredetű kiegészítés nem kívánt vagy rejtett viselkedést is vihet a modellbe, ezért csak megbízható forrásból használd.

Hasonló, de nem ugyanaz

• Finomhangolás – A teljes finomhangolás a modell összes paraméterét módosítja, a PEFT csak egy kis részét vagy egy hozzáadott kiegészítést.
• LoRA – A LoRA egyetlen konkrét, ma a legnépszerűbb PEFT-módszer, a PEFT pedig az egész módszercsalád neve.
• RAG – A RAG nem tanítja a modellt, csak válaszadáskor ad neki kikeresett dokumentumokat, a PEFT viszont a modell viselkedését módosítja tanítással.

Kapcsolódó fogalmak

Röviden a története

Az irányt a 2019-ben publikált adaptermodulok indították el, amelyek megmutatták, hogy egy nyelvi modell kevés új paraméterrel is feladatra szabható. A ma legismertebb módszert, a LoRA-t 2021-ben mutatták be a Microsoft kutatói. Maga a kifejezés már korábban is szerepelt szakcikkekben, a PEFT rövidítést azonban a Hugging Face azonos nevű, 2023 elején kiadott nyílt forráskódú programkönyvtára tette széles körben ismertté.

Hol tart most

2026 végén a nyílt modellek testreszabásának alapértelmezett módja, a szöveges és a képgeneráló modelleknél is. A LoRA-típusú kiegészítések megosztása mindennapos.

Állapot: 2026. november

Más nevei

PEFT · parameter-efficient fine-tuning · paraméterhatékony finomhangolás · paraméter-hatékony finomhangolás · paramétertakarékos finomhangolás · parameter-efficient tuning

Források

• Houlsby et al.: Parameter-Efficient Transfer Learning for NLP (2019)
• Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models (2021)
• Hugging Face PEFT dokumentáció

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.