Common Crawl
A Common Crawl egy nonprofit szervezet és annak ingyenes, nyilvános webarchívuma, amely több milliárd weboldal másolatát tartalmazza, és sok AI-modell tanítóanyagának alapja.
Érthetően
Képzeld el, hogy valaki rendszeresen körbejárja az internet nyilvános részét, minden útjába eső oldalról fénymásolatot készít, és a kötegeket egy bárki számára nyitott raktárba teszi. A Common Crawl ezt csinálja: egy nonprofit szervezet, amely a webet gépi úton bejárja, és az eredményt ingyen közzéteszi.
Korábban ekkora webmásolata jellemzően csak a nagy keresőcégeknek volt, mert a web bejárása drága és bonyolult. A Common Crawl miatt egy egyetemi kutató, egy kis startup vagy egy újságíró is dolgozhat több milliárd oldalas webes adattal.
Az AI szempontjából azért fontos, mert a nagy nyelvi modellek rengeteg szövegből tanulnak, és ennek jelentős része sokszor innen származik. Ha tehát valaha írtál nyilvános blogbejegyzést vagy fórumhozzászólást, könnyen lehet, hogy az is bekerült az archívumba. Biztosra viszont nem vehető, mert a Common Crawl a webnek csak egy részét járja be.
Ez nem kereső: nem tudsz benne kényelmesen böngészni vagy kérdést feltenni. Nyers adathalmaz, amelyet programokkal kell feldolgozni.
Hogyan működik
- Egy automata program, a CCBot nevű webrobot linkről linkre haladva bejárja a nyilvánosan elérhető weboldalakat.
- A robot figyelembe veszi a weboldal robots.txt fájlját, vagyis azt a kis „házirendet”, amelyben az oldal gazdája megmondhatja, mit nem szabad letölteni.
- A letöltött oldalakat szabványos archív formátumban menti el, és külön változatot készít a kinyert szövegből és a linkekről is.
- A nagyjából havonta készülő, egyenként több milliárd oldalas gyűjtemények felhőtárhelyre kerülnek, ahonnan bárki ingyen letöltheti őket.
- A felhasználók, például AI-fejlesztők, megszűrik és megtisztítják az anyagot (kiszedik a szemetet, az ismétlődést, a nem kívánt nyelveket), és csak utána használják modell tanítására vagy kutatásra.
Példa a mindennapokból
Évekkel ezelőtt írtál egy receptet a saját blogodra, és azóta el is felejtetted. Ha a CCBot akkoriban eljutott az oldaladra, a szöveg ma is ott lehet az archívumban, és onnan bekerülhetett egy nyelvi modell tanítóanyagába. Ott csak egy csepp a tengerben a sok milliárd oldal között, de úgy került oda, hogy téged senki nem kérdezett meg.
Kit érint
Gyakori félreértés
Korlátok és kockázatok
- A minősége vegyes: a jó cikkek mellett rengeteg spam, reklám, ismétlődő és hibás tartalom is van benne, ezért szűrés nélkül gyenge tanítóanyag.
- Az angol nyelvű tartalom erősen túlsúlyban van, a magyar és más kisebb nyelvek aránya csekély, ami a rajta tanult modellek nyelvtudásán is meglátszik.
- Ha ma letiltod a robotot, az csak a jövőbeli gyűjtésre hat: a korábban elmentett másolatok a régi archívumokban és a belőlük tanult modellekben megmaradhatnak.
- Kiadók bírálták amiatt, hogy fizetőfal mögötti cikkek szövege is bekerült az archívumba, tehát a „csak nyilvános tartalom” határa a gyakorlatban vitatott.
Hasonló, de nem ugyanaz
- Internet Archive (Wayback Machine) – Az Internet Archive embereknek szól, hogy megnézhessék egy oldal régi változatait, a Common Crawl viszont gépi feldolgozásra szánt nyers adathalmaz.
- Keresőmotor – A kereső a bejárt oldalakból kérdésekre ad találatokat, a Common Crawl csak a nyers másolatokat adja közre, keresőfelület nélkül.
- Webkaparás – A webkaparás maga a módszer, amellyel bárki adatot gyűjthet a webről, a Common Crawl pedig egy konkrét szervezet kész, közzétett gyűjteménye.
Kapcsolódó fogalmak
Tanítóadat, Adatkészlet, Nyílt adat
CCBot
Webkaparás, Webrobot, robots.txt, Nagy nyelvi modell, Szerzői jog és AI
Röviden a története
A Common Crawl alapítványt Gil Elbaz amerikai vállalkozó hozta létre 2007-ben, azzal a céllal, hogy a web másolata ne csak a nagy keresőcégek kiváltsága legyen. Első nyilvános archívumát 2011-ben tette közzé. Széles körben a 2020-as évek elején vált ismertté, amikor a nagy nyelvi modellek sikere ráirányította a figyelmet arra, hogy tanítóanyaguk jelentős része innen származik.
Hol tart most
2026 végén a Common Crawl az AI-kutatás és a modelltanítás egyik alapvető, széles körben használt nyersanyagforrása. Közben egyre több kiadó tiltja le a robotját, és a szerzői jogi viták a szervezetet is elérték.
Más nevei
Common Crawl · CommonCrawl · Common Crawl Foundation · Common Crawl alapítvány · Common Crawl archívum · Common Crawl adatkészlet · CCBot
Források
A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.