web scraping

alapelterjedt

A web scraping az, amikor egy program emberi kattintgatás helyett automatikusan olvassa végig a weboldalakat, és kigyűjti belőlük a szükséges adatokat.

Érthetően

Képzeld el, hogy egy áruház összes árcéduláját fel kell írnod egy füzetbe. Megteheted kézzel, polcról polcra járva, de megbízhatsz vele egy fáradhatatlan segédet is, aki percek alatt végigszalad az egész üzleten. A web scraping ez a segéd az interneten: egy program, amely megnyitja az oldalakat, és táblázatba szedi, amit rajtuk talál.

Sok hétköznapi szolgáltatás erre épül: az árösszehasonlító oldalak, a repülőjegy-keresők, az ingatlanhirdetéseket összesítő portálok és a sajtófigyelők. A mesterséges intelligencia világában azért lett kulcsfogalom, mert a nagy nyelvi modellek tanítóanyagának jelentős része így, a nyilvános webről begyűjtve állt össze.

Abban más, mint a szokásos adatátadás, hogy a weboldal gazdája nem feltétlenül tud róla, és nem is biztos, hogy örül neki. Az oldalt embereknek tervezték, a program pedig kéretlenül olvas bele. Ezért kíséri ennyi jogi és etikai vita.

Hogyan működik

A program megkapja a felkeresendő webcímek listáját, vagy egy kiinduló oldalról indulva maga követi a linkeket.
Letölti az oldalt ugyanúgy, ahogy a böngésződ tenné, csak nem jeleníti meg, hanem a mögötte lévő kódot olvassa.
Az oldal szerkezetében megkeresi a számára fontos részeket, például a termék nevét, az árat vagy a cikk szövegét.
A kinyert adatokat megtisztítja, és rendezett formában, táblázatba vagy adatbázisba menti.
Mindezt több ezer vagy több millió oldalon megismétli, sokszor rendszeresen, hogy az adatok frissek maradjanak.

Példa a mindennapokból

Új mosógépet keresel, és egy árösszehasonlító oldalon egyetlen listában látod harminc webáruház aktuális árát. Ezeket jellemzően nem emberek gépelték be: az adatok részben a boltok által küldött árlistákból, részben az oldalaikat rendszeresen végigolvasó programoktól származnak.

Kit érint

mindenkiAmit nyilvánosan kiteszel a netre, azt programok is begyűjthetik, és akár AI-modellek tanítóanyagába is bekerülhet.

vállalkozó, vezetőÍgy figyelheted a versenytársak árait és a piacot, miközben a saját weboldalad tartalmát is gyűjthetik mások.

fejlesztőNeked kell megírnod és karbantartanod a gyűjtőprogramot, és neked kell tudnod, hol húzódnak a jogi és technikai határok. → Kód

jogász, állampolgárA szerzői jog és az adatvédelem határterülete, ahol a személyes adataid akkor is védettek, ha nyilvánosan láthatók. → Jog

Gyakori félreértés

TévhitAmi nyilvánosan látható a neten, azt bárki szabadon legyűjtheti és felhasználhatja.

ValójábanA nyilvános elérhetőség nem jelent szabad felhasználhatóságot: a szerzői jog, az adatbázisok védelme, a személyes adatokra vonatkozó GDPR és az oldal felhasználási feltételei egyaránt korlátozhatják. Maga a technika viszont önmagában nem tiltott.

Korlátok és kockázatok

A begyűjtött adat lehet hibás, elavult vagy hiányos: a hagyományos gyűjtőprogram nem érti a tartalmat, csak a megadott helyről kimásolja, az AI-alapú eszközök pedig félre is olvashatják.
Ha a weboldal szerkezete megváltozik, a gyűjtőprogram elromlik, vagy észrevétlenül rossz adatot kezd menteni.
A túl sűrű lekérdezés leterhelheti a céloldalt, ezért sok üzemeltető technikai védelemmel szűri vagy tiltja a gyűjtőprogramokat.
Személyes adatok tömeges gyűjtése akkor is jogsértő lehet, ha azok bárki számára láthatók.

Hasonló, de nem ugyanaz

webes feltérképezés – A feltérképezés a linkeket követve azt deríti fel, milyen oldalak léteznek, a scraping pedig konkrét adatokat emel ki az oldalakból.
API – Az API a szolgáltató által hivatalosan felkínált, gépeknek szánt adatcsatorna, a scraping viszont az embereknek készült oldalról szedi le ugyanazt, engedély nélkül is.
adatbányászat – Az adatbányászat a már meglévő adatokban keres összefüggéseket, a scraping csak az adatok összegyűjtéséről szól.

Kapcsolódó fogalmak

Tágabb

adatgyűjtés, adatkinyerés, automatizálás

Szűkebb

árfigyelés

Rokon

webes feltérképezés, képernyőkaparás, tanítóadat, robots.txt, szöveg- és adatbányászat, API

Röviden a története

Az első webet bejáró programok 1993-ban jelentek meg. A gyűjtést szabályozó, önkéntes betartásra épülő robots.txt megállapodás 1994-ben született, és 2022-ben vált hivatalos internetes szabvánnyá (RFC 9309). A módszer a nagy nyelvi modellek tanítóadat-igénye miatt került a 2020-as években a közviták középpontjába.

Hol tart most

2026 végén a web scraping bevett, tömegesen használt technika, amelyet egyre gyakrabban AI-agentek végeznek. Közben a kiadók és az oldalüzemeltetők mind több helyen tiltják vagy fizetőssé teszik az AI-cégek gyűjtőprogramjainak hozzáférését, és a jogi viták folytatódnak.

Állapot: 2026. november

A hírekben

3 Agent Age-sztoriban fordul elő; a görbe a hírmagazin heti előfordulása.

EDPB-iránymutatás a web scrapingről a generatív MI-modellek betanításához2026. okt. 7. · Jog
Delhi Legfelsőbb Bíróság nem függesztette fel az ANI–OpenAI szerzői jogi döntést2026. szept. 15. · Jog
CNIL-jegyzet az agent-AI-ról és EDPB-útmutató a generatív AI webes adatkinyeréséről2026. aug. 13. · Jog

Más nevei

web scraping · webscraping · scraping · web scraper · webkaparás · adatkaparás · webes adatkinyerés · web data extraction

Források

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.