tesztadatok
angolul: test data
A tesztadatok olyan félretett példák, amelyeket az AI-modell a tanulás során sosem látott, és amelyeken a végén lemérik, mennyire jól teljesít valójában.
Érthetően
Képzeld el, hogy egy diák a tankönyv feladatain gyakorol, a dolgozatban viszont olyan feladatokat kap, amelyeket még sosem látott. Csak így derül ki, hogy megértette-e az anyagot, vagy csak bemagolta a megoldásokat. A tesztadatok az AI-modell dolgozatfeladatai.
A fejlesztők a rendelkezésre álló adatok egy részét a munka legelején félreteszik. A modell a többiből tanul, a félretett részhez pedig senki nem nyúl a végső mérésig. Az itt elért eredmény mutatja meg, mire számíthatsz, amikor a modell a való életben új, ismeretlen esetekkel találkozik.
Ebben különbözik a tanítóadatoktól, amelyekből a modell tanul, és a validációs adatoktól, amelyeken fejlesztés közben hangolják. A tesztadat egyetlen dologra való: a tisztességes, utólagos vizsgára.
Hogyan működik
- A fejlesztők az összegyűjtött adatokat több részre osztják: a legnagyobb rész a tanítást szolgálja, egy kisebb a hangolást, egy további pedig a tesztet.
- A modell kizárólag a tanítóadatokból tanul, a tesztadatokat ez idő alatt elzárva tartják.
- Amikor a modell elkészült, megkapja a tesztadatok kérdéseit, de a helyes válaszokat nem.
- A modell válaszait összevetik a helyes megoldásokkal, és ebből számolnak mutatókat, például a pontosságot, vagyis a helyes válaszok arányát.
- Ha az eredmény sokkal gyengébb, mint a tanítóadatokon, a modell valószínűleg magolt, és nem általánosítható tudást szerzett.
Példa a mindennapokból
Egy cég azt hirdeti, hogy a levélszemétszűrője 99 százalékos pontosságú. Ez a szám tesztadatokon született: több ezer olyan e-mailen, amelyet a szűrő a tanulás alatt nem látott. Hogy a te postafiókodban is ilyen jól működik-e, az attól függ, mennyire hasonlítanak a leveleid a tesztben szereplőkre.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A tesztadat csak azt méri, ami benne van: ha hiányoznak belőle a ritka vagy szokatlan esetek, azokról semmit nem tudsz meg.
- A nyilvános tesztkérdések felkerülhetnek az internetre, onnan pedig a nagy nyelvi modellek tanítóanyagába, így a modell látott feladaton vizsgázik, és az eredménye megtévesztően jó.
- Ha a fejlesztők sokszor mérnek ugyanazon a teszten, és mindig ahhoz igazítanak, a modell lassan a tesztre szabottá válik, nem a valóságra.
- A világ változik, ezért a néhány éve összeállított tesztadat ma már nem feltétlenül tükrözi a valós használatot.
Hasonló, de nem ugyanaz
- tanítóadatok – A tanítóadatokból a modell tanul, a tesztadatokat viszont csak a kész modell vizsgáztatására használják.
- validációs adatok – A validációs adatokon fejlesztés közben hangolják a modellt és választanak a változatok közül, a tesztadat a legvégső, érintetlen mérésre szolgál.
- benchmark – A benchmark szabványos, többnyire nyilvános feladatsor, amelyen több modellt hasonlítanak össze, bár a tesztrészét néha titokban tartják. Tesztadata viszont minden egyes fejlesztésnek van, akár belső és titkos is.
Kapcsolódó fogalmak
adathalmaz, gépi tanulás, modellértékelés
rejtett tesztkészlet
tanítóadatok, validációs adatok, benchmark, túltanulás, adatszivárgás, általánosítás
Röviden a története
Az az elv, hogy egy modellt félretett, a tanuláshoz fel nem használt adatokon kell ellenőrizni, a statisztikából került a gépi tanulásba. Szélesebb körben az olyan nyilvános adatkészletek tették ismertté, mint az 1990-es években összeállított, kézzel írt számjegyeket tartalmazó MNIST, amelynek külön tanítórésze (60 000 kép) és tesztrésze (10 000 kép) van.
Hol tart most
2026 végén a tesztadatok használata minden komoly AI-fejlesztés alapkövetelménye. Az EU AI-rendelete a nagy kockázatú rendszereknél minőségi elvárásokat is előír a tanító-, validációs és tesztadatokra (10. cikk); ezek a kötelezettségek fokozatosan, a rendelet időközben módosított menetrendje szerint válnak alkalmazandóvá. A legnagyobb gondot a nyelvi modellek és az agentek értékelése okozza, mert a nyilvános tesztek gyorsan beszivárognak a tanítóanyagba.
Más nevei
tesztadat · tesztadatok · tesztkészlet · teszthalmaz · tesztelési adatok · test data · test set · testing data
Források
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.