adatkurálás
angolul: data curation
Az adatkurálás az a munka, amelynek során a nyers adatokat kiválogatják, megtisztítják, rendszerezik és dokumentálják, hogy megbízhatóan lehessen velük MI-t tanítani vagy MI-rendszert működtetni.
Érthetően
Gondolj egy múzeumi kurátorra: nem tesz ki mindent a raktárból, hanem kiválogatja a darabokat, ellenőrzi az eredetüket, feliratot ír melléjük, és rendet tart közöttük. Az adatkurálás ugyanezt jelenti adatokkal: a rengeteg nyers szövegből, képből vagy táblázatból gondosan összeállított, használható gyűjtemény lesz.
Azért fontos, mert a mesterséges intelligencia abból tanul, amit elé tesznek. Ha a tananyag hibás, egyoldalú vagy tele van ismétléssel, a modell is hibás, egyoldalú válaszokat ad. A szakma ezt úgy mondja: szemét be, szemét ki.
Az adatgyűjtés csak felhalmozza az adatot, a kurálás viszont mérlegel is: mi maradjon, mi menjen, mi hiányzik, és jogszerűen használható-e egyáltalán. Nem egyszeri nagytakarítás, hanem folyamatos gondozás, mert az adatok elavulnak, és újak jönnek.
Hogyan működik
- Válogatás: eldöntik, milyen forrásokból milyen adat kerüljön a gyűjteménybe, és mi maradjon ki (például a megbízhatatlan, jogsértő vagy oda nem illő tartalom).
- Tisztítás: kiszűrik az ismétlődéseket, a hibás, hiányos vagy sérült tételeket, és szükség esetén eltávolítják a személyes adatokat.
- Rendszerezés és címkézés: egységes formára hozzák az adatokat, és megjelölik, mi micsoda (például melyik képen mi látható, melyik szöveg milyen témájú).
- Egyensúly ellenőrzése: megnézik, hogy a gyűjtemény nem torzít-e, vagyis elég változatosan szerepelnek-e benne a különböző csoportok, helyzetek és nyelvek.
- Dokumentálás és karbantartás: leírják, honnan származik az adat, hogyan dolgozták fel és mire való, majd időről időre frissítik és újraellenőrzik.
Példa a mindennapokból
Egy bank olyan agentet szeretne, amely a saját szabályzatai alapján válaszol az ügyfeleknek. Mielőtt bekapcsolnák, valakinek ki kell válogatnia az érvényes dokumentumokat, és ki kell dobnia a három éve lejárt díj- és kamattáblázatokat meg az egymásnak ellentmondó változatokat. Ha ez elmarad, az ügyfél magabiztos választ kap egy régi kamatról.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A kurálás emberi döntések sorozata, ezért a kurátorok vakfoltjai és előítéletei beépülhetnek az adatba, és onnan a modellbe.
- Drága és lassú munka, amelyet gyakran alulfizetett, láthatatlan adatmunkások végeznek, a cégek pedig hajlamosak spórolni rajta.
- Több milliárd tételes adathalmazt ember már nem tud végignézni, így a szűrést is gépek végzik, amelyek maguk is hibázhatnak.
- Kívülről nehezen ellenőrizhető: az EU-ban az általános célú MI-modellek szolgáltatóinak 2025 augusztusa óta nyilvános összefoglalót kell közzétenniük a tanítóadatokról, de ez nem részletezi, mit hagytak benn és mit szűrtek ki.
Hasonló, de nem ugyanaz
- adattisztítás – Az adattisztítás csak a hibák és ismétlődések eltávolítása, a kurálás ennél tágabb: a válogatást, a rendszerezést, a dokumentálást és a hosszú távú gondozást is magában foglalja.
- adatcímkézés – A címkézés azt jelöli meg, mi látható vagy olvasható egy adott tételen, a kurálás viszont arról is dönt, hogy az a tétel egyáltalán bekerüljön-e a gyűjteménybe.
- adatgyűjtés – A gyűjtés felhalmozza a nyers anyagot, a kurálás pedig használható, ellenőrzött gyűjteményt készít belőle.
Kapcsolódó fogalmak
adatkezelés, adatirányítás
adattisztítás, adatcímkézés, duplikátumszűrés, anonimizálás
tanítóadat, adathalmaz, adatminőség, torzítás, szintetikus adat, adatközpontú MI
Röviden a története
A kifejezés a múzeumi és könyvtári kurátori munkából került át az adatok világába a 2000-es évek elején, a tudományos adatbázisok gondozása kapcsán; 2004-ben az Egyesült Királyságban megalakult a Digital Curation Centre. A gépi tanulásban a 2020-as évek elején, az „adatközpontú MI” szemlélet terjedésével vált kulcsfogalommá.
Hol tart most
2026 végén minden komoly MI-fejlesztés bevett része. Az EU MI-rendelete (10. cikk) a magas kockázatú rendszereknél kifejezetten előírja az adatok gondos kezelését és dokumentálását, de ezek a kötelezettségek csak lépcsőzetesen, a következő években válnak alkalmazandóvá. Az általános célú modellek szolgáltatóinak 2025 augusztusa óta nyilvános összefoglalót kell közzétenniük a tanítóadatokról. A kurálás egyre nagyobb részét automatizálják, sokszor maguk az MI-modellek szűrik és minősítik az adatot.
Más nevei
adatkurálás · adatkuráció · adatgondozás · adatok kurálása · data curation · dataset curation · digital curation · kurált adathalmaz
Források
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.