DPO

angolul: Direct Preference Optimization

szakmaielterjedt

Finomhangolási módszer, amelyben a nyelvi modell válaszpárokból tanulja meg, melyik választ tartják jobbnak az emberek, külön jutalmazó modell nélkül.

Érthetően

Képzeld el, hogy egy kezdő szakácsot tanítasz. Nem írsz neki pontozási szabályzatot, hanem minden ételből két változatot kóstoltatsz vele, és megmondod, melyik a jobb. Sok ilyen pár után ráérez, mit szeretnek a vendégek. A DPO ugyanezt csinálja egy nyelvi modellel: ugyanarra a kérdésre mutat neki egy jobbnak és egy rosszabbnak ítélt választ.

Arra jó, hogy egy már betanított modell stílusát és viselkedését csiszolják vele. Így lesz a modell udvariasabb, pontosabb, tömörebb, vagy így tanulja meg, mikor utasítson el egy kérést. Új tényeket nem ezzel tanítanak neki, hanem azt, hogy a lehetséges válaszok közül melyik fajtát válassza.

A korábbi megoldásnál előbb külön „zsűrit” kellett tanítani, amely pontozta a válaszokat, és a modell ennek a pontjaiért versenyzett. A DPO ezt a kerülőt kihagyja: a modell egyetlen tanítási szakaszban, közvetlenül a párokból tanul. Ettől egyszerűbb, olcsóbb és általában stabilabb a tanítás, ezért kisebb csapatok is tudják használni.

Hogyan működik

Összegyűjtenek sok hármast: egy kérdést, egy előnyben részesített választ és egy elutasított választ. A címkét ember vagy egy másik modell adja.
A kiinduló modellről készül egy befagyasztott másolat. Ez a viszonyítási pont, amelyhez a tanuló modellt mérik.
A tanítás minden párnál úgy állítja a modell belső súlyait, hogy a jobb válasz a rosszabbhoz képest valószínűbb legyen, mint a befagyasztott másolatnál volt.
Egy beállítható érték (a béta) szabja meg, mennyire távolodhat el a modell az eredeti önmagától. Ez csökkenti annak a veszélyét, hogy elfelejtse, amit addig tudott.
A végén a modellt külön teszteken ellenőrzik, hogy tényleg jobb válaszokat ad-e, és nem csak a tanítópárokat tanulta meg.

Példa a mindennapokból

Egy csevegőrobotban két választ kapsz ugyanarra a kérdésre, és megkérdezik, melyik tetszik jobban. A kattintásodból keletkezik egy „ez jobb, az rosszabb” pár. Az ilyen párok pontosan azt a fajta adatot adják, amelyből a DPO-val a modell következő változatát hangolni lehet.

Kit érint

fejlesztőNyílt eszközökkel vagy a szolgáltatók finomhangoló felületén a saját modelledet a saját preferenciapárjaidhoz igazíthatod, bonyolult megerősítéses tanítás nélkül. → Kód

vállalkozó, vezetőAz ügyfélszolgálati vagy belső asszisztens hangneme és stílusa viszonylag olcsón a cégedre szabható, ha van elég jó–rossz válaszpárod.

mindenkiA csevegőrobotokban adott tetszik–nem tetszik visszajelzéseid ilyen módszereken keresztül alakíthatják, hogyan válaszolnak a jövő modelljei.

Gyakori félreértés

TévhitA DPO-val a modell új tudást szerez, és ettől okosabb lesz.

ValójábanA DPO azt hangolja, hogy a modell a már meglévő képességeiből melyik választ részesítse előnyben. Tényeket nem tanít, és a hiányzó tudást nem pótolja.

Korlátok és kockázatok

A modell csak annyira lesz jó, amennyire a párok címkéi: ha a címkézők elfogultak vagy következetlenek, ezt is megtanulja.
Könnyen a tetszetős, hízelgő válaszok felé tolja a modellt, mert az embereknek gyakran az tetszik jobban, ami magabiztosan hangzik, akkor is, ha téves.
Rossz beállítással vagy kevés adattal a modell túlilleszkedhet, és más feladatokban romolhat a teljesítménye.
Bonyolult, több lépéses feladatoknál, például egy agent hosszú munkafolyamatánál, egyetlen válaszpár összehasonlítása kevés, ott más módszerek is kellenek.

Hasonló, de nem ugyanaz

Megerősítéses tanulás emberi visszajelzésből (RLHF) – Az RLHF előbb külön jutalmazó modellt tanít, és annak pontjai alapján fejleszti a nyelvi modellt, a DPO viszont közvetlenül a válaszpárokból tanul.
Felügyelt finomhangolás – A felügyelt finomhangolás csak jó mintaválaszokat mutat a modellnek, a DPO egy jobb és egy rosszabb választ állít szembe egymással.
Adatvédelmi tisztviselő (DPO) – Ugyanez a rövidítés a GDPR-ban a Data Protection Officer nevű munkakört jelöli, amelynek semmi köze a modelltanításhoz.

Kapcsolódó fogalmak

Tágabb

Finomhangolás, Preferenciatanulás, Összehangolás (alignment), Gépi tanulás

Szűkebb

–

Rokon

Megerősítéses tanulás emberi visszajelzésből (RLHF), Jutalommodell, Felügyelt finomhangolás, LoRA, Nagy nyelvi modell (LLM)

Röviden a története

A módszert 2023-ban írták le a Stanford Egyetem kutatói (Rafael Rafailov és társai) a „Direct Preference Optimization: Your Language Model is Secretly a Reward Model” című tanulmányban. A tanulmány megmutatta, hogy a külön jutalmazó modell kihagyható.

Hol tart most

2026 végén a DPO és továbbfejlesztett változatai a nyelvi modellek utóhangolásának bevett eszközei. A nyílt forráskódú tanítókönyvtárak támogatják, és több nagy szolgáltató finomhangoló felületén is elérhető preferenciaalapú hangolásként.

Állapot: 2026. november

Más nevei

DPO · Direct Preference Optimization · direct preference optimization · közvetlen preferenciaoptimalizálás · direkt preferenciaoptimalizálás · preferenciaalapú finomhangolás · preference fine-tuning · DPO-finomhangolás

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.