Fogalomtár › Keresés és marketing

robots.txt

A robots.txt egy egyszerű szövegfájl a weboldal gyökerében, amely megmondja a keresőrobotoknak és AI-robotoknak, mely oldalakat látogathatják, és melyeket nem.

Érthetően

Képzeld el a weboldalt egy nagy épületként, amelynek a bejáratánál kis tábla lóg: „A raktárba és az irodákba kérjük, ne lépj be.” A robots.txt ilyen tábla. Nem embereknek szól, hanem a weboldalakat automatikusan bejáró programoknak, a robotoknak.

A fájlt a weboldal tulajdonosa írja meg. Megadhatja benne, hogy a Google keresőrobotja, egy AI-cég adatgyűjtő robotja vagy bármely más program mely részeket olvashatja be. Így tartható távol a robotoktól például a kosároldal, a belső kereső találati listája vagy az adminfelület.

A robots.txt kérés, és nem zár. A tisztességes robotok betartják, de technikailag semmi sem akadályozza meg, hogy egy program figyelmen kívül hagyja. Ezért titkos vagy személyes adatot nem ezzel kell védeni, hanem jelszóval.

Az AI korában a fájl új szerepet kapott. Sok kiadó és cég ebben jelzi, hogy nem szeretné, ha a tartalmát nyelvi modellek tanítására gyűjtenék be, vagy ha egy AI-agent a felhasználó nevében megnyitná az oldalait.

Hogyan működik

1. A tulajdonos elhelyez egy robots.txt nevű szövegfájlt a weboldal gyökerében, így az mindig a pelda.hu/robots.txt címen érhető el, bárki számára. A fájl csak arra a domainre vonatkozik, ahol található, ezért egy aldomainnek (például blog.pelda.hu) saját fájl kell.
2. A robot az oldal bejárása előtt először ezt a fájlt kéri le, és megkeresi benne a saját nevére (a „User-agent” sorra) vonatkozó szabályokat. Ha ilyet nem talál, a mindenkire érvényes, csillaggal jelölt szabályokat követi.
3. A szabályok egyszerűek: a „Disallow” sor megtilt egy mappát vagy oldalt, az „Allow” sor kivételt enged. Gyakran szerepel a fájlban az oldaltérkép (sitemap) címe is, amely segít a robotnak megtalálni a fontos oldalakat.
4. A szabálykövető robot a tiltott címeket kihagyja, a többit letölti és feldolgozza: a kereső beteszi az indexébe, az AI-robot pedig tanítóanyagként vagy válaszadáshoz használja.
5. A betartást senki sem kényszeríti ki automatikusan. Ha egy robot nem tartja be a szabályokat, a tulajdonos csak más eszközzel, például tűzfallal vagy robotszűrő szolgáltatással tudja kizárni.

Példa a mindennapokból

Kit érint

Gyakori félreértés

Korlátok és kockázatok

• Nem biztonsági eszköz: bizalmas tartalmat jelszóval vagy hozzáférés-korlátozással védj, ne robots.txt-vel.
• A betartása önkéntes, és több beszámoló szerint egyes AI-robotok figyelmen kívül hagyják vagy megkerülik a tiltásokat.
• Több szolgáltató a felhasználó kifejezett kérésére történő oldalmegnyitásra (például amikor egy chatbotba bemásolsz egy linket) nem feltétlenül alkalmazza a robots.txt szabályait.
• Egyetlen elírás, például egy rossz helyre tett perjel, az egész oldalt kizárhatja a keresőkből, ezért minden módosítást érdemes ellenőrizni.
• Csak a jövőbeli bejárásra hat: amit egy robot korábban már begyűjtött, azt a fájl utólag nem törli sem a keresőből, sem egy AI-modell tanítóanyagából.

Hasonló, de nem ugyanaz

• noindex címke – A robots.txt a bejárást tiltja. A noindex viszont azt kéri, hogy a beolvasott oldal ne jelenjen meg a találatok között. Ha egy oldalt a robots.txt letilt, a robot nem látja rajta a noindex címkét. Ezért ha egy oldalt ki akarsz venni a találatok közül, ne tiltsd le a robots.txt-ben.
• llms.txt – Az llms.txt nem tilt, hanem útbaigazít: tömör összefoglalót kínál az oldalról az AI-modelleknek. Egyelőre csak javaslat, nem szabvány.
• oldaltérkép (sitemap) – Az oldaltérkép azt sorolja fel, mit érdemes bejárni, a robots.txt pedig azt, mit kér kihagyni a tulajdonos.

Kapcsolódó fogalmak

Röviden a története

A robotkizárási szabályt Martijn Koster holland fejlesztő javasolta 1994-ben, miután a korai webrobotok túlterhelték a szervereket. Évtizedekig nem hivatalos, de széles körben követett megállapodásként működött. A Google 2019-ben kezdeményezte a szabványosítását, és 2022 szeptemberében IETF-szabvány lett belőle (RFC 9309).

Hol tart most

2026 végén a legtöbb komoly weboldalnak van robots.txt fájlja, és a nagy keresők megbízhatóan követik. A vita az AI-robotok körül zajlik: sok kiadó tiltja őket, miközben a betartás továbbra is önkéntes. Az IETF AI Preferences (AIPREF) munkacsoportja olyan kiegészítéseken dolgozik, amelyekkel külön lehetne jelezni, hogy egy tartalom felhasználható-e AI-tanításra.

Állapot: 2026. november

A hírekben

• A Google már AI-keresési megjelenéseket is jelent a SEO-eszközben2026. aug. 4. · Marketing

Más nevei

robots.txt · robots.txt fájl · robotkizárási szabvány · robotkizárási protokoll · Robots Exclusion Protocol · Robots Exclusion Standard · REP · robots fájl

Források

• RFC 9309: Robots Exclusion Protocol (IETF)
• Wikipedia: robots.txt

A szócikk gépi szerkesztéssel készült és gépi szakmai lektoráláson ment át; a „hírekben” rész az Agent Age sztorijaiból automatikusan frissül.