adatkeverék
angolul: data mixture
Az adatkeverék azt mutatja meg, milyen forrásokból és milyen arányban áll össze az az adathalmaz, amelyből egy MI-modell tanul.
Érthetően
Egy nyelvi modell nem egyetlen nagy könyvből tanul, hanem sokféle anyagból: weboldalakból, könyvekből, programkódból, tudományos cikkekből, párbeszédekből, sőt gép által írt gyakorlófeladatokból. Az adatkeverék ennek a receptje: megmondja, miből mennyi kerül a tanítóanyagba.
Olyan ez, mint a gulyás. Ugyanazokból az alapanyagokból egészen más étel lesz, ha háromszor annyi paprikát vagy fele annyi húst teszel bele. A modellnél ugyanígy az arányok döntik el, hogy miben lesz erős: több kód jobb programozót, több párbeszéd jobb beszélgetőtársat ad.
Ezért a fejlesztők nem egyszerűen mindent beöntenek, ami kéznél van. Tudatosan súlyoznak: a ritka, de értékes forrásokból (például a magyar nyelvű vagy orvosi szövegekből) többször merítenek, a rengeteg gyenge minőségű webes szövegből pedig visszavesznek.
Az adatkeverék tehát nem maga az adat, hanem az összetétele. Két modell tanulhat nagyjából ugyanazokból a forrásokból, és mégis másképp viselkedik, mert más arányban kapta őket.
Hogyan működik
- A fejlesztők összegyűjtik a forrásokat, és csoportokba rendezik őket: webes szöveg, könyv, kód, párbeszéd, szakmai anyag, gép által előállított (szintetikus) példa, különböző nyelvek.
- Minden csoport kap egy súlyt, vagyis azt, hogy a tanítás során a példák hány százaléka érkezzen onnan. A kis, de fontos források súlyát felfelé, a túl nagyokét lefelé igazítják.
- Tanítás közben a rendszer ezek szerint az arányok szerint húz példákat. Így egy kicsi forrásból ugyanaz a szöveg többször is sorra kerülhet, egy óriásiból pedig csak egy része.
- A kész modellt tesztfeladatokon mérik. Ha valamiben gyenge, módosítják az arányokat, és újra próbálkoznak, mert a jó keveréket kísérletezéssel találják meg.
- A keverék a tanítás szakaszai között is változhat: az elején sok általános szöveg, a végén több válogatott, jó minőségű vagy feladatra szabott példa.
Példa a mindennapokból
Megkérdezel két csevegőrobotot ugyanarról a magyar nyelvtani kérdésről, és az egyik szépen, természetesen válaszol, a másik döcögősen, tükörfordítás-szerűen. Ennek egyik gyakori oka, hogy az egyik tanítóanyagában jóval nagyobb arányban volt jó minőségű magyar szöveg (de a modell mérete és a tanítás módja is számít). Részben ugyanezért lehet az egyik modell feltűnően jó programozásban, miközben versírásban gyengébb.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A nagy cégek ritkán hozzák nyilvánosságra a pontos keveréket, így kívülről csak a modell viselkedéséből következtethetsz rá.
- Nincs egyetlen tökéletes recept: ha az egyik terület arányát növelik, a modell egy másikban gyengülhet.
- Az arányok torzítást is bevihetnek: ami alig szerepel a keverékben (kis nyelvek, ritka szakterületek, kisebbségi nézőpontok), abban a modell bizonytalanabb és többet téved.
- Ha túl sok a gép által írt szöveg a keverékben, a modell válaszai egyhangúbbá és pontatlanabbá válhatnak.
Hasonló, de nem ugyanaz
- tanítóadat – A tanítóadat maga az anyag, amelyből a modell tanul, az adatkeverék pedig ennek összetétele és arányai.
- adatbővítés – Az adatbővítés meglévő példákból készít új változatokat, az adatkeverék viszont arról dönt, melyik forrásból mennyi kerüljön a tanításba.
- tananyagrend szerinti tanítás – A tananyagrend a példák sorrendjéről szól (könnyűtől a nehézig), az adatkeverék pedig a források arányáról.
Kapcsolódó fogalmak
tanítóadat, gépi tanulás, adatkészlet
mintavételi súlyozás, többnyelvű adatkeverék, feladatkeverés
szintetikus adat, előtanítás, finomhangolás, adattorzítás, adatkurálás
Röviden a története
A források arányos keverése régi gyakorlat a gépi tanulásban, főleg a többfeladatos tanításban. A Google kutatóinak 2019-es T5-tanulmánya már többféle keverési stratégiát hasonlított össze, a nagy nyelvi modellek terjedésével pedig a keverék megtervezése a modellfejlesztés egyik kulcslépése lett.
Hol tart most
2026 végén a nagy nyelvi modellek fejlesztői tudatosan megtervezett adatkeverékkel dolgoznak, de a pontos recept többnyire üzleti titok. Az EU MI-rendelete 2025 augusztusa óta nyilvános összefoglalót vár el az általános célú modellek szolgáltatóitól a tanítóanyag tartalmáról (a korábban piacra került modelleknél 2027 augusztusáig van türelmi idő). Ez az összefoglaló a főbb forrásokat mutatja be, a pontos arányokat nem.
Más nevei
adatkeverék · adatmix · tanítóadat-keverék · tanítóadat-összetétel · data mixture · data mix · training data mixture · dataset mixing
Források
- Raffel et al.: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5, 2019)
- Wikipedia: Training, validation, and test data sets
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.