AI-crawler

angolul: AI crawler

alapelterjedt

Az AI-crawler olyan automata program, amely weboldalakat jár végig és olvas be, hogy a tartalmukból mesterséges intelligencia tanuljon vagy válaszoljon.

Érthetően

Képzelj el egy fáradhatatlan könyvtárost, aki éjjel-nappal járja a világ összes könyvtárát, és mindent lefénymásol, amit a polcokon talál. Az AI-crawler ugyanezt teszi az interneten: oldalról oldalra halad a linkeken, és elmenti a szövegeket, képeket, táblázatokat.

A begyűjtött anyag két fő célt szolgál. Egyrészt ebből tanulnak a nagy nyelvi modellek, vagyis ettől „tud” a chatbot a világról. Másrészt amikor egy AI-kereső vagy egy AI-agent friss kérdésre válaszol, a crawler ott helyben hozza el neki a szükséges oldalt.

A hagyományos keresőrobot azért olvassa be az oldaladat, hogy a találati listából látogatót küldjön rád. Az AI-crawler viszont gyakran úgy viszi el a tartalmat, hogy az olvasó a választ már a chatbotban kapja meg, és soha nem kattint át hozzád. Ezért lett belőle üzleti és jogi vita.

Hogyan működik

A crawler egy kiinduló címlistával indul, letölti az oldalakat, majd az azokon talált linkeket követve halad tovább.
Mielőtt belép egy webhelyre, elvileg megnézi a robots.txt nevű fájlt, amelyben a tulajdonos megírhatja, melyik robot mit olvashat. Ez technikailag kérés, nem zár: a betartása a robot üzemeltetőjén múlik.
A robot egy névvel (user-agent) mutatkozik be, például GPTBot, ClaudeBot vagy PerplexityBot. Több cég külön nevet használ a tanításhoz, a keresőindexhez és a felhasználói kérésre történő letöltéshez (az OpenAI-nál például GPTBot, OAI-SearchBot és ChatGPT-User), így a webhely gazdája ezeket külön engedélyezheti vagy tilthatja.
A letöltött oldalakból kiszedik a hasznos szöveget, megtisztítják a menüktől és a reklámoktól, majd elteszik tanítóadatnak vagy keresőindexbe.
Egyes robotok nem előre gyűjtenek, hanem akkor mennek ki egy oldalra, amikor egy felhasználó éppen rákérdez valamire a chatbotnál. Ezekre egyes üzemeltetők szerint a robots.txt nem feltétlenül vonatkozik, mert a letöltést egy ember kérte.

Példa a mindennapokból

Megkérdezed a chatbotot, melyik a legjobb túraútvonal a Bükkben, és ő forrásmegjelöléssel összefoglal három blogbejegyzést. Ezeket a bejegyzéseket korábban vagy épp abban a pillanatban egy AI-crawler olvasta be. A bloggerek ebből annyit látnak, hogy a szerverükön megjelent egy robot, olvasó viszont nem feltétlenül.

Kit érint

marketingesHa az AI-crawlerek nem érik el a céged oldalát, a márkád kimaradhat a chatbotok és AI-keresők válaszaiból. → Marketing

vállalkozó, vezetőNeked kell eldöntened, hogy a tartalmadat ingyen odaadod-e az AI-cégeknek, tiltod, vagy pénzt kérsz érte.

fejlesztőTe állítod be a robots.txt-t és a tűzfalat, és te látod, ha a robotok forgalma megterheli a szervert. → Kód

mindenkiAmit nyilvánosan közzéteszel a neten, az jó eséllyel bekerül valamelyik AI-rendszer tanítóanyagába.

Gyakori félreértés

TévhitHa a robots.txt-ben letiltom az AI-crawlereket, a tartalmam biztonságban van.

ValójábanA robots.txt technikailag csak kérés, amelyet a tisztességes robotok betartanak, mások viszont figyelmen kívül hagyhatnak vagy álnéven megkerülhetnek. Erősebb védelmet a technikai szűrés (tűzfal, robotszűrő szolgáltatás) vagy a belépéshez kötött tartalom ad, de tökéletes megoldás ezek közül sincs.

Korlátok és kockázatok

A tiltás nem visszamenőleges: amit a robot egyszer már elvitt, azt utólag nem tudod kivenni egy betanított modellből.
Ha mindent letiltasz, az AI-keresők válaszaiból is eltűnhetsz, tehát a védelem a láthatóságod rovására mehet.
A sűrűn érkező robotok érezhetően megnövelhetik a szerver terhelését és a tárhelyszámlát, különösen kisebb oldalaknál.
Jogilag még nem lezárt, hogy a nyilvános tartalom felhasználható-e engedély nélkül AI tanítására: az első ítéletek megszülettek, de országonként és ügyenként eltérnek. Az EU-ban a jogosult géppel olvasható formában megtilthatja a szöveg- és adatbányászatot, és ezt az AI-cégeknek figyelembe kell venniük.

Hasonló, de nem ugyanaz

keresőrobot – A keresőrobot azért indexel, hogy a találati listáról látogatót küldjön hozzád, az AI-crawler viszont tanítóadatot vagy kész válaszhoz való alapanyagot gyűjt.
web scraping – A scraping célzottan, adott oldalakról szed ki meghatározott adatokat (például árakat), a crawler viszont linkről linkre haladva a web nagy részét bejárja.
AI-agent – Az agent egy feladatot hajt végre a nevedben, és közben böngészhet is, míg a crawler csak tömegesen gyűjt, döntéseket nem hoz.

Kapcsolódó fogalmak

Tágabb

webrobot, adatgyűjtés, AI-infrastruktúra

Szűkebb

GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot

Rokon

robots.txt, llms.txt, tanítóadat, AI-keresés, web scraping, Google-Extended

Röviden a története

A webet bejáró robotok az 1990-es évek eleje óta léteznek, és 1994-ben született meg a robots.txt, amellyel a webhelyek szabályozhatják őket. Az AI-crawler mint külön fogalom 2023-ban került a köztudatba, amikor az OpenAI bemutatta a GPTBot nevű robotját, és a kiadók tömegesen kezdték tiltani.

Hol tart most

2026 végén szinte minden nagy AI-cég üzemeltet saját crawlert, és ezek a webes robotforgalom növekvő részét adják. A vita már a feltételekről szól: tiltás, engedélyezés vagy fizetős hozzáférés.

Állapot: 2026. november

A hírekben

9 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

HUN-REN SZTAKI: új MI-labor és AI-robotikai bemutatók nyílt napon2026. okt. 15. · Ipar
Zalando, Sereact és CEVA AI-robotokkal automatizálja a visszárukezelést Németországban és Lengyelországban2026. okt. 9. · Ipar
Cincinnati kutatás: miért hisznek a gyerekek az AI-játékoknak?2026. szept. 28. · Oktatás és család
A tinik egyre inkább AI-csevegőrobotokhoz fordulnak mentális támogatásért2026. szept. 9. · Egészség
A Nissan AI-robotokat telepít a smyrnai gyárban, 64 munkatárs feladatát váltva2026. szept. 7. · Munka és HR
A Nissan AI-robotokkal bővíti smyrnai gyárát az alkatrész-szállítás átvételére2026. szept. 7. · Ipar
A Linux-kernel rekordközeli, kiadásonként 2000 sebezhetőséget kap AI-vadászoktól2026. aug. 31. · Kód
A Cloudflare szeptemberi határidőt szabott az AI-crawlereknek: fizessenek a kiadóknak, vagy blokkolják őket2026. aug. 25. · Marketing

Más nevei

AI crawler · AI-crawler · MI-crawler · AI-robot · AI bot · MI-keresőrobot · AI-pók · AI web crawler

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.