adattisztítás
angolul: data cleaning
Az adattisztítás a hibás, hiányos, ismétlődő vagy következetlen adatok megkeresése és kijavítása, mielőtt elemzésre vagy mesterséges intelligencia tanítására használnák őket.
Érthetően
Képzeld el, hogy főzés előtt átválogatod a lencsét: kiszeded a kavicsot, a töredezett szemeket, majd megmosod. Az adattisztítás ugyanez az adatokkal. A nyers adat szinte soha nem használható úgy, ahogy van: elírások, üres mezők, kétszer rögzített sorok és egymásnak ellentmondó értékek vannak benne.
Azért fontos, mert a mesterséges intelligencia abból tanul, amit elé teszel. Ha a tananyag hibás, a modell a hibát is megtanulja, és magabiztosan ismétli. A szakma ezt úgy mondja: szemét be, szemét ki.
Nem látványos munka, mégis az adatos projektek idejének jelentős részét ez viszi el. Egy szerényebb modell tiszta adaton gyakran jobb eredményt ad, mint egy fejlettebb modell rendetlen adaton.
Hogyan működik
- Felmérés: először megnézik, mi van az adatokban, vagyis hány mező üres, milyen értékek fordulnak elő, és hol vannak gyanús kiugrások.
- Egységesítés: közös formára hozzák a dátumokat, mértékegységeket, neveket és címeket, hogy a „Bp.”, a „Budapest” és a „BUDAPEST” ugyanazt jelentse.
- Ismétlődések kiszűrése: megkeresik és összevonják azokat a sorokat, amelyek ugyanarra az emberre, termékre vagy eseményre vonatkoznak.
- Hibák és hiányok kezelése: a nyilvánvalóan rossz értékeket (például 250 éves ügyfél) javítják vagy törlik, a hiányzókat pótolják, megjelölik vagy kihagyják.
- Ellenőrzés és dokumentálás: szabályokkal újra átvizsgálják az eredményt, és feljegyzik, mit változtattak, hogy a döntések később visszakövethetők legyenek.
Példa a mindennapokból
Egy webáruház hírlevelet küldene, de a listában ugyanaz a vásárló háromszor szerepel: egyszer „Kovács Anna”, egyszer „kovacs anna”, egyszer elgépelt e-mail-címmel. Adattisztítás után egy sor marad belőle, így nem kapja meg háromszor ugyanazt a levelet, és a cég is pontosan tudja, hány vásárlója van.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A túl buzgó tisztítás értékes információt törölhet: a szokatlan adat lehet hiba, de lehet épp a legfontosabb jelzés is, például egy csalás nyoma.
- A tisztítás nem pótolja azt, ami eleve hiányzik: ha egy csoportról alig gyűjtöttek adatot, attól a készlet még torz marad.
- A hiányzó értékek pótlása becslés, nem tény, ezért az így kapott eredményt óvatosan kell kezelned.
- Ha a változtatásokat nem dokumentálják, később senki sem tudja megmondani, miért tér el a tisztított adat az eredetitől.
Hasonló, de nem ugyanaz
- adatcímkézés – A címkézés megmondja, mi látható az adaton (például „macska” egy képen), a tisztítás pedig magát az adatot teszi rendbe.
- adat-előfeldolgozás – Az előfeldolgozás tágabb: a tisztítás mellett az adatok átalakítását, skálázását és a modell számára emészthető formára hozását is jelenti.
- anonimizálás – Az anonimizálás az adatvédelem miatt úgy törli vagy alakítja át az adatokat, hogy azokból senkit ne lehessen azonosítani; nem a hibákat javítja.
Kapcsolódó fogalmak
adat-előfeldolgozás, adatminőség, adatkezelés, adattudomány
duplikátumszűrés, hiányzó adatok pótlása, kiugró értékek kezelése, adategységesítés
tanítóadat, adatcímkézés, torzítás, szintetikus adat, gépi tanulás
Röviden a története
Az adattisztítás a statisztikával és az adatbázisokkal egyidős gyakorlat. A „szemét be, szemét ki” (garbage in, garbage out) mondás már a számítástechnika korai évtizedeiben, az 1950-es és 1960-as évek fordulóján elterjedt. A gépi tanulás térhódításával vált kulcskérdéssé, mert a modellek minősége nagyrészt a tanítóadatok minőségén múlik.
Hol tart most
2026 végén minden komoly adatos és AI-projekt alaplépése. A rutinfeladatok egyre nagyobb részét nyelvi modellek és AI-agentek végzik, de a vitás esetek eldöntése és az ellenőrzés továbbra is emberi feladat.
Más nevei
adattisztítás · adatok tisztítása · adattakarítás · data cleaning · data cleansing · data scrubbing
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.