adatfal
angolul: data wall
Az a feltételezett pont, ahol az AI-modellek fejlődése lelassul, mert elfogy a tanításukhoz használható, jó minőségű, ember által írt új adat.
Érthetően
A nagy nyelvi modellek úgy tanulnak, hogy rengeteg ember által írt szöveget olvasnak el: weboldalakat, könyveket, fórumokat, programkódot. Eddig a fejlődés egyik fő receptje az volt, hogy a nagyobb modell még több adatot kapott. Az adatfal azt a feltevést jelenti, hogy ez a recept egyszer kifullad, mert a jó minőségű emberi szöveg véges.
Képzeld el a diákot, aki már a könyvtár összes könyvét kiolvasta. Ha tovább akar fejlődni, hiába olvassa el újra ugyanazokat, és a ponyva vagy a hibás jegyzet sem segít sokat. Más módszer kell neki: gyakorlás, feladatmegoldás, saját tapasztalat.
A fogalom azért fontos, mert megmagyarázza, miért fizetnek az AI-cégek kiadóknak és fórumoknak az adataikért, miért kísérleteznek géppel előállított tanítóanyaggal, és miért vitatkoznak a szakértők arról, hogy a fejlődés üteme tartható-e.
Hogyan működik
- A nyelvi modellek tanításához használt adatmennyiség éveken át nagyjából évi két-háromszorosára nőtt, miközben az interneten elérhető, értékes emberi szöveg ennél jóval lassabban gyarapszik.
- A könnyen elérhető, jó források már nagyrészt bekerültek a tanítóanyagba, így ami marad, az egyre inkább ismétlődő, gyenge minőségű vagy géppel írt tartalom.
- Közben szűkül a hozzáférés is: egyre több oldal tiltja az automatikus begyűjtést, szaporodnak a szerzői jogi perek, és a tartalomtulajdonosok pénzt kérnek az adataikért.
- Ha több adat nem szerezhető, ugyanannyi adatból kell többet kihozni, különben a nagyobb modell és a több számítási kapacitás egyre kisebb javulást hoz.
- A fejlesztők ezért kerülőutakat keresnek: szintetikus, vagyis géppel előállított adatot, szakértőkkel íratott példákat, kép- és videóanyagot, illetve olyan tanítást, ahol az agent feladatok megoldása közben, a saját próbálkozásaiból tanul.
Példa a mindennapokból
Azt olvasod a hírekben, hogy egy AI-cég sokmillió dolláros szerződést kötött egy lapkiadóval vagy egy közösségi oldallal a tartalmaik felhasználásáról. Emögött az adatfal áll: a szabadon elérhető jó szöveg fogy, ezért a friss, emberi tartalom értékes nyersanyag lett.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- Senki sem tudja pontosan megmondani, mikor fogy el a hasznos adat, ezért a becsléseket kezeld fenntartással.
- A szintetikus adat nem csodaszer: ha a modellek túl sok géppel írt szövegből tanulnak, a minőségük romolhat.
- Az adatéhség arra ösztönzi a cégeket, hogy a felhasználóik tartalmait és személyes adatait is bevonják a tanításba, ezért figyeld, mihez adsz hozzájárulást.
- A fogalmat befektetői és politikai vitákban érvként is használják, pesszimista és optimista oldalról egyaránt, így nem semleges ténymegállapítás.
Hasonló, de nem ugyanaz
- modellösszeomlás – A modellösszeomlás az a minőségromlás, amely akkor lép fel, ha a modellek főleg géppel írt tartalomból tanulnak, míg az adatfal magát az emberi adat hiányát jelenti.
- tudáshatár – A tudáshatár az a dátum, ameddig egy adott modell ismeretei tartanak, az adatfal viszont az egész iparág fejlődését érintő korlát.
- fizetőfal – A fizetőfal egy weboldal előfizetéshez kötött tartalmát védi, az adatfal pedig képletes fal, amelybe az AI-fejlesztés ütközik.
Kapcsolódó fogalmak
tanítóadat, skálázás, gépi tanulás
–
szintetikus adat, adatlicencelés, modellösszeomlás, webkaparás, számítási kapacitás, adatminőség, megerősítéses tanulás
Röviden a története
Az Epoch AI kutatói 2022-ben tanulmányban becsülték meg, mikor fogyhat el a modellek tanításához használható, ember által készített adat. A tanulmány 2024-es frissítése szerint a tanítóadat-készletek mérete valamikor 2026 és 2032 között érheti el a nyilvánosan elérhető emberi szöveg teljes mennyiségét. Magát a „data wall” kifejezést Leopold Aschenbrenner 2024-es, Situational Awareness című esszésorozata tette széles körben ismertté. Ugyanezt a gondolatot Ilya Sutskever 2024 végén „peak data” néven fogalmazta meg.
Hol tart most
2026 végén az adatfal vitatott, de komolyan vett feltevés: a szakma megosztott abban, mennyire fékezi a fejlődést. A nagy AI-cégek közben adatlicenc-szerződésekkel, szintetikus adattal és feladatmegoldásból tanuló agentekkel próbálják megkerülni.
Más nevei
adatfal · data wall · adatkorlát · adatszűke · tanítóadat-hiány · data bottleneck · data scarcity · peak data
Források
- Villalobos et al.: Will we run out of data? Limits of LLM scaling based on human-generated data (arXiv:2211.04325)
- Leopold Aschenbrenner: Situational Awareness – The Decade Ahead (2024)
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.