felügyelt finomhangolás (SFT)
angolul: supervised fine-tuning
Egy már betanított nyelvi modell továbbtanítása kérdés–mintaválasz párokon, hogy egy adott feladatot vagy stílust megbízhatóbban tudjon.
Érthetően
Képzeld el, hogy egy frissen végzett, széles műveltségű kolléga érkezik a cégedhez. Sok mindent tud, de a ti házi szabályaitokat nem ismeri. Odaadsz neki pár száz korábbi ügyet a helyes megoldással együtt, és azt mondod: így csináljuk nálunk. A felügyelt finomhangolás ugyanez egy nyelvi modellel.
A „felügyelt” szó azt jelenti, hogy minden gyakorlófeladathoz tartozik egy előre megadott, jónak ítélt mintaválasz. Ezt ember írja, vagy egy másik modell készíti, és jó esetben ember ellenőrzi. A modell tehát nem magától találgat, hanem megmutatják neki, mi a helyes kimenet, és ahhoz igazodik.
Arra jó, hogy egy általános modellből szakosodott modell legyen: tartsa a cég hangnemét, mindig ugyanabban a formában válaszoljon, vagy jobban értsen egy szűk szakterülethez. Így lesz a nyers szövegfolytató modellből kérdésekre válaszoló asszisztens is.
Abban más, mint a jó utasítás (prompt), hogy itt maga a modell változik meg tartósan, nem csak az, amit éppen kérsz tőle. Ezért előkészíteni drágább és lassabb, viszont utána nem kell minden alkalommal hosszan elmagyaráznod, mit vársz.
Hogyan működik
- Kiindulásként fogsz egy már előtanított modellt, amely hatalmas szövegmennyiségből megtanulta a nyelvet és sok általános tudást.
- Összeállítasz egy példatárat: bemenetek (kérdés, utasítás, dokumentum) és a hozzájuk tartozó elvárt válaszok, jellemzően néhány száztól több tízezer párig.
- A modell megkapja a bemenetet, és lépésről lépésre megpróbálja megjósolni a mintaválasz következő szövegdarabját. A rendszer megméri, mennyire tért el a jóslat a mintaválasztól.
- Az eltérés alapján a modell belső beállításai (súlyai) kis lépésekben módosulnak, hogy legközelebb közelebb kerüljön a mintához. Ez sokszor megismétlődik a teljes példatáron.
- A végén a modellt olyan példákon ellenőrzik, amelyeket tanulás közben nem látott, hogy kiderüljön: tényleg megtanulta-e a feladatot, vagy csak bemagolta a mintákat.
Példa a mindennapokból
Egy biztosító ügyfélszolgálati csevegője tegezve, röviden, a cég saját kifejezéseivel válaszol, és mindig ugyanabban a sorrendben kéri el az adataidat. Ezt gyakran úgy érik el, hogy egy általános modellt több ezer korábbi, jól sikerült ügyfélszolgálati beszélgetésen finomhangoltak.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A modell csak annyira lesz jó, amennyire a példák: a hibás, egyoldalú vagy elfogult mintaválaszokat ugyanúgy megtanulja.
- Túl kevés vagy túl egyforma példán a modell bemagol, és az új helyzetekben rosszabbul teljesít. Közben korábbi általános képességeiből is veszíthet.
- A finomhangolás a modell beépített biztonsági korlátait is gyengítheti, ezért utána újra ellenőrizni kell, hogyan viselkedik kényes kérésekre.
- Ha megjelenik egy újabb alapmodell, a tanítást rendszerint újra el kell végezni rajta. A példatár viszont többnyire újra felhasználható.
Hasonló, de nem ugyanaz
- előtanítás – Az előtanítás hatalmas, címkézetlen szövegtömegből tanítja meg a nyelvet, az SFT erre épülve kis, gondosan összeállított példatárral szakosítja a modellt.
- megerősítéses tanulás – Ott a modell nem kész mintaválaszt kap, hanem próbálkozik, és jutalom vagy pontszám jelzi, mennyire volt jó az eredmény.
- keresőalapú válaszgenerálás (RAG) – A RAG nem változtat a modellen, csak a kérdés mellé odateszi a kikeresett dokumentumokat, az SFT viszont magát a modellt írja át.
Kapcsolódó fogalmak
utasításalapú finomhangolás
előtanítás, megerősítéses tanulás emberi visszajelzéssel (RLHF), paraméterhatékony finomhangolás, LoRA, tudásdesztilláció, tanítóadat, prompt
Röviden a története
A felügyelt tanulás a gépi tanulás régi alapmódszere. A nyelvi modelleknél az „előbb általános előtanítás, utána finomhangolás” recept 2018-ban terjedt el, az ULMFiT módszer, valamint az első GPT és a BERT modell nyomán.
Hol tart most
2026 végén az SFT a nyelvi modellek készítésének bevett lépése. Több nagy szolgáltató kész szolgáltatásként is kínálja a cégeknek, de nem minden modellhez. Sok feladatnál azonban a jó prompt és a keresés olcsóbb megoldás, ezért főleg ott használják, ahol a stílus, a formátum vagy a szűk szakterület számít.
Más nevei
SFT · supervised fine-tuning · felügyelt finomhangolás · felügyelt finomhangolás (SFT) · supervised finetuning · felügyelt utótanítás
Források
- Wikipedia: Fine-tuning (deep learning)
- Howard & Ruder (2018): Universal Language Model Fine-tuning for Text Classification
- Devlin et al. (2018): BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.