preferenciaadat
angolul: preference data
Olyan tanítóadat, amely azt rögzíti, hogy két vagy több MI-válasz közül melyiket tartották jobbnak az emberek.
Érthetően
A preferenciaadat nem azt mondja meg a modellnek, mi a helyes válasz, hanem azt, hogy két válasz közül melyik tetszett jobban. Olyan, mint a szemészeti vizsgálat: az orvos nem azt kérdezi, hány dioptriás a szemed, csak azt, hogy „így jobb, vagy így?”. Sok ilyen apró döntésből végül pontos kép áll össze.
Azért hasznos, mert a jó válasznak ritkán van egyetlen helyes megoldása. Nehéz szabályba foglalni, mitől udvarias, érthető vagy segítőkész egy szöveg, de ha két változatot látsz egymás mellett, szinte azonnal tudod, melyik a jobb. Ezt az összehasonlító ítéletet gyűjtik össze tömegesen.
A hagyományos címkézett adat egy dologról állít valamit („ezen a képen macska van”). A preferenciaadat ezzel szemben viszonyít: A jobb, mint B. Ezzel hangolják a nyelvi modellek stílusát, hasznosságát és biztonságos viselkedését az alaptanítás után.
Hogyan működik
- Ugyanarra a kérdésre a modell két vagy több különböző választ készít.
- Egy ember (fizetett értékelő, szakértő vagy maga a felhasználó) megjelöli, melyik a jobb, vagy sorba rendezi őket. Néha egy másik MI-modell ítél.
- Az így keletkező hármasokból (kérdés, nyertes válasz, vesztes válasz) több tíz- vagy százezer darabos adatkészlet épül.
- Ebből vagy egy külön „pontozó” modellt tanítanak, amely megjósolja, mit választana az ember, vagy közvetlenül a nyelvi modellt hangolják úgy, hogy a nyertes típusú válaszokat valószínűbbé tegye.
- A folyamatot ismétlik: az új modell válaszait megint összehasonlíttatják, így a viselkedés lépésről lépésre finomodik.
Példa a mindennapokból
Ha egy csevegőrobot két választ mutat egymás mellett, és megkérdezi, melyik tetszik jobban, a döntésedből preferenciaadat lesz. Közvetett jelzés az is, ha újragenerálod a választ, és a második változattal dolgozol tovább. A felfelé vagy lefelé mutató hüvelykujj rokon visszajelzés, de szigorúan véve egyetlen választ értékel, nem kettőt hasonlít össze.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Az értékelők ízlése, kultúrája és nyelve beépül a modellbe, így az, ami egy szűk csoportnak tetszik, mindenkinek alapértelmezés lesz.
- A tetszésre hangolt modell hajlamos hízelegni és neked igazat adni, mert az emberek az ilyen választ szívesebben jelölik jobbnak.
- Az emberek gyakran nem értenek egyet egymással, és ugyanaz az ember is ítélhet másképp fáradtan, ezért az adat zajos.
- A visszajelzéseid és a hozzájuk tartozó beszélgetések adatkezelési kérdést is felvetnek, ezért érdemes megnézned a szolgáltatás beállításaiban, felhasználják-e őket tanításra.
Hasonló, de nem ugyanaz
- címkézett adat – A címke egy elemről mond ki valamit önmagában, a preferenciaadat két vagy több válasz egymáshoz viszonyított sorrendjét rögzíti.
- felhasználói preferenciák (személyre szabás) – Az a te egyéni beállításaidat és ízlésedet jelenti egy szolgáltatásban, a preferenciaadat viszont sok ember ítéleteiből álló tanítóanyag a modell általános viselkedéséhez.
- kiértékelési adat (benchmark) – A benchmark a kész modellt méri, a preferenciaadatból viszont a modell tanul. Páros összehasonlításokból modellrangsor is készülhet, de akkor az adat mérésre szolgál, nem tanításra.
Kapcsolódó fogalmak
tanítóadat, emberi visszajelzés
páros összehasonlítás, rangsorolási adat, szintetikus preferenciaadat
finomhangolás, megerősítéses tanulás emberi visszajelzésből, jutalommodell, közvetlen preferenciaoptimalizálás, adatcímkézés, hízelgés
Röviden a története
A páros összehasonlításokból való tanulás ötlete régi, de az MI-kutatásban 2017-ben tette széles körben ismertté az OpenAI és a DeepMind kutatóinak közös tanulmánya. Az OpenAI 2020-ban szövegösszefoglaláson próbálta ki nyelvi modellel, a 2022-es InstructGPT-tanulmány pedig megmutatta, hogy a nagy, általános célú nyelvi modellek is így hangolhatók. 2023-ban megjelent a közvetlen preferenciaoptimalizálás (DPO), amely külön pontozó modell nélkül használja fel ezt az adatot.
Hol tart most
2026 végén a nagy nyelvi modellek hangolásának bevett alapanyaga. A gyűjtés egyre inkább szakértő értékelőkre és MI-modellek által előállított összehasonlításokra támaszkodik.
Más nevei
preferenciaadat · preferenciaadatok · preferencia-adat · preference data · preference dataset · human preference data · pairwise comparison data · páros összehasonlítási adat
Források
- Christiano et al.: Deep Reinforcement Learning from Human Preferences (2017)
- Ouyang et al.: Training language models to follow instructions with human feedback (2022)
- Wikipedia: Reinforcement learning from human feedback
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.