Boty AI ignorują robots.txt. Co to oznacza dla stron?

Robots.txt od lat stanowi podstawowy język porozumienia między właścicielami stron internetowych a botami. Wystarczyło dodać odpowiednią linię, by zablokować niechcianego robota. Jednak w erze asystentów AI ta umowa przestaje obowiązywać. Najnowsze dane pokazują, że co szósty bot pobierający treści na życzenie użytkownika trafia na adresy, które wydawcy wyraźnie oznaczyli jako zakazane. To nie jest przypadek ani błąd techniczny – to świadoma polityka największych firm technologicznych.

Raport „State of the Bots” opracowany przez firmę TollBit, o którym jako pierwszy napisał Matt G. Southern w Search Engine Journal, ujawnia skalę zjawiska w pierwszej połowie 2026 roku. Problem dotyczy konkretnej kategorii ruchu: tzw. page fetchers, czyli agentów, którzy ładują pojedynczą stronę w czasie rzeczywistym, gdy użytkownik zada pytanie w czacie. To nie są roboty indeksujące ani trenujące modele – to boty działające na życzenie człowieka.

Dlaczego boty AI omijają zakazy w robots.txt?

Średnia europejska wygląda pozornie niegroźnie – około 15 proc. zidentyfikowanych botów dociera do niedozwolonych adresów. Jednak za tą średnią kryje się bardzo nierównomierny rozkład. Trzy agenty – ChatGPT-User, Bytespider oraz Youbot – odwiedzały zabronione strony na blisko połowie europejskich witryn, które umieściły je w pliku robots.txt. Wśród nich ChatGPT-User osiągnął największy zasięg, docierając do największej liczby serwisów.

Kluczowy jest jednak kontekst. ChatGPT-User jest jednocześnie botem najczęściej blokowanym przez webmasterów i najczęściej łamiącym te zakazy. To nie jest sprzeczność, lecz zwykła arytmetyka. Jak tłumaczy TollBit, każda próba dotarcia do niedozwolonego adresu jest traktowana jako obejście zakazu – bez względu na to, co operatorzy botów piszą w swojej dokumentacji. Jeśli bot nie został wymieniony w robots.txt, nie może odnotować naruszenia reguły, która nigdy nie została zapisana.

Europa kontra Ameryka Północna – podwójne standardy

Raport ujawnia również wyraźne różnice regionalne. Europejscy wydawcy znacznie rzadziej blokują nowsze boty niż ich odpowiednicy w Ameryce Północnej. Zaledwie 9 proc. europejskich stron umieszcza w robots.txt zakaz dla Claude-User, czyli agenta pobierającego treści od Anthropica. Dla porównania w Ameryce Północnej odsetek ten sięga 26 proc. Podobnie wygląda sytuacja z Perplexity-User – 13 proc. w Europie wobec 26 proc. w USA.

Niskie liczby blokad dla nowszych agentów nie muszą jednak świadczyć o ich dobrych intencjach. Eksperci zwracają uwagę, że może to oznaczać zwykłą nieznajomość tych botów wśród europejskich webmasterów. Niski wskaźnik naruszeń dla nowego agenta nie dowodzi jego uczciwości – może po prostu świadczyć o jego niskiej rozpoznawalności.

Co mówią sami operatorzy botów?

Sedno problemu tkwi w dokumentacji technicznej największych graczy. OpenAI wprost stwierdza, że ChatGPT-User odwiedza strony, gdy użytkownik zada pytanie, a ponieważ działania te są inicjowane przez człowieka, reguły robots.txt mogą nie mieć zastosowania. Perplexity zajmuje identyczne stanowisko. Inaczej postępuje Anthropic, który deklaruje, że wszystkie trzy jego boty (ClaudeBot, Claude-User i Claude-SearchBot) respektują plik robots.txt.

Ta rozbieżność nie jest nowa. Już 9 grudnia 2025 roku OpenAI usunęło z dokumentacji język o zgodności z robots.txt dla ChatGPT-User, co wychwycił konsultant Pieter Serraris. Z kolei Google 20 marca 2026 roku formalnie dodało Google-Agent do oficjalnej listy botów wyzwalanych przez użytkownika, dokumentując, że takie boty zazwyczaj ignorują robots.txt, ponieważ stronę zażądała osoba. IAB Australia poszło o krok dalej, klasyfikując każdy robot do jednej z czterech kategorii i konkludując, że robots.txt nie jest wiarygodnym mechanizmem kontroli dla agentów działających w czasie rzeczywistym.

Widoczność w wynikach wyszukiwania a ochrona treści

Dla wydawców kluczowe jest zrozumienie różnic między poszczególnymi botami OpenAI. OAI-SearchBot odpowiada za wyświetlanie stron w wynikach wyszukiwania w ramach funkcji search w ChatGPT. Jeśli witryna zablokuje tego agenta, nie pojawi się w odpowiedziach wyszukiwarki ChatGPT, choć wciąż może być widoczna jako linki nawigacyjne. OpenAI zaleca zezwalanie na tego boty dla stron, które chcą być widoczne w tych wynikach.

Każde ustawienie działa niezależnie. Witryna może zezwolić OAI-SearchBot na pojawianie się w wynikach wyszukiwania, jednocześnie blokując GPTBot, aby zaznaczyć, że treści nie powinny być używane do trenowania modeli. Jeśli oba boty są dozwolone, OpenAI może wykorzystać wyniki jednego przeszukania do obu celów. Zmiany w robots.txt nie działają natychmiast – dostosowanie systemów wyszukiwania może zająć około 24 godzin.

Asymetria jest oczywista. Strona blokująca zarówno OAI-SearchBot, jak i ChatGPT-User rezygnuje z widoczności w wyszukiwarce, która jest honorowana, zachowując kontrolę nad botem, który według dokumentacji OpenAI i tak może zignorować zakaz. Jak ujął to Search Engine Journal, takie strony „wymieniły widoczność na połowę umowy”.

Badania dodatkowo komplikują obraz. Naukowcy z Rutgers Business School i The Wharton School odkryli, że wydawcy blokujący boty AI przez robots.txt tracili około 7 proc. tygodniowego ruchu w ciągu sześciu tygodni. Co więcej, blokowanie nie gwarantuje usunięcia strony z baz cytowań AI.

Cloudflare przenosi walkę na poziom sieci

Odpowiedź na rosnący problem pojawiła się tam, gdzie działa infrastruktura internetu. Cloudflare 1 lipca 2026 roku opublikował politykę „Your site, your rules”, napisaną przez Jin-Hee Lee i Bryana Beckera. Zastępuje ona dotychczasowe, binarne podejście do botów AI nową taksonomią opartą na zachowaniu, a nie etykiecie. Wyróżnia trzy główne kategorie: Search (zbieranie i indeksowanie treści), Agent (automatyczne działania w czasie rzeczywistym w imieniu użytkownika) oraz Training (pobieranie treści do trenowania modeli).

Kategoria Agent obejmuje boty czatowe, takie jak ChatGPT-User, oraz agenty przeglądarkowe, jak Gemini czy Claude sterujące Chrome. To właśnie te boty znalazły się w centrum pomiarów TollBit. Cloudflare argumentuje, że blokowanie całej automatyzacji nie jest rozwiązaniem, a operatorzy powinni rozdzielić ruch na trzy osobne boty zamiast jednego.

Nowe domyślne ustawienia od 15 września

Najważniejszą zmianą są nowe domyślne ustawienia. Od 15 września 2026 roku wszystkie nowe domeny dołączające do Cloudflare będą domyślnie blokować boty sklasyfikowane jako Training i Agent na stronach wyświetlających reklamy. Search pozostanie dozwolony. Uzasadnienie jest proste: obecność reklamy sygnalizuje, że właściciel strony oczekuje ludzkiej uwagi, więc boty, które mogą tę uwagę odebrać, są trzymane z daleka.

Tego samego dnia wejdzie w życie druga zmiana. Boty łączące funkcje Search i Training będą blokowane zgodnie z najbardziej restrykcyjną regułą. Cloudflare wymienia Googlebot, Applebot i BingBot jako przykłady agentów, które zostaną zablokowane dla klientów wybierających blokadę Training. Istniejący klienci mogą zrezygnować w ustawieniach bezpieczeństwa przed tą datą.

BotBase i kontrola wykorzystania treści

Cloudflare wprowadza również BotBase – przeszukiwalną bazę znanych botów dla klientów Enterprise Bot Management. Pokazuje ona, gdzie każdy bot znajduje się w nowej taksonomii, i udostępnia identyfikator detekcji do wykorzystania w regułach bezpieczeństwa. Klasyfikacja wykracza poza trzy główne kategorie, obejmując Transact, Data Collection, Security Testing, SEO, Ads Verification, Social, Link Preview, Feed Fetching oraz Monitoring.

Nowością są też poziomy kontroli oparte na wykorzystaniu treści. Trzy poziomy określają, co bot może zrobić po uzyskaniu dostępu: natychmiastowy (interakcja bez przechowywania), referencyjny (domyślny – indeksowanie, cytowanie, linkowanie) oraz pełny (streszczanie i reprodukcja). Boty reprodukujące treści w całości nie mogą uzyskać statusu Verified, a boty nadużywające sygnałów tracą go. Definicja Verified ulega zawężeniu – wcześniej wszystkie zweryfikowane boty były dozwolone domyślnie, teraz status ten tylko umożliwia działanie w ramach dozwolonych kategorii.

Ostatni element to propozycja rozwiązania problemu „przenoszonego zaufania” (transitive trust). Cloudflare proponuje wykorzystanie nagłówka Forwarded zdefiniowanego w RFC 7239 do przenoszenia tożsamości operatora przez pośredników, w formacie: Forwarded: for=”openai”;use=”reference”. Argument siłowy jest prosty: utrata zaufanego statusu na ponad 20 proc. domen internetowych za Cloudflare to „odstraszacz z zębami”.

Co to oznacza dla wydawców i marketerów?

Przepaść między tym, o co prosi robots.txt, a tym, co odnotowują logi serwerów, stała się mierzalną wielkością. Dla wydawców zarabiających na reklamach wrześniowa zmiana domyślnych ustawień Cloudflare łączy obie historie. Ruch agentów to dokładnie ta kategoria, którą TollBit zmierzył jako łamiącą zakazy, i dokładnie ta, którą Cloudflare zablokuje domyślnie na stronach z reklamami. Kontrola, której operatorzy mogą nie honorować, zostaje zastąpiona kontrolą, której nie można ominąć.

Dla działów marketingu i analityki kluczowa jest kompozycja ruchu. Zautomatyzowane żądania już przewyższają ludzkie na sieci Cloudflare. Boty AI trafiały na strony koszyków WordPress 3,75 miliona razy dziennie, a Microsoft Clarity w czerwcu 2026 roku zaczął pokazywać naruszenia robots.txt w Bot Analytics. Ruch bez udziału człowieka zniekształca liczniki inwentarza, metryki sesji i mianowniki we wskaźnikach konwersji.

Pozostaje pytanie, na którym kończy Search Engine Journal: czy wyjątek dla działań inicjowanych przez użytkownika przetrwa? Opiera się na argumencie, że żądanie wysłane, ponieważ człowiek zapytał, różni się od robota pobierającego treści według własnego harmonogramu. Każdy większy asystent pobiera teraz strony w ten sposób, a wolumen za tym rozróżnieniem stale rośnie.

Nadchodzące miesiące pokażą, czy rynek zaakceptuje nowy model Cloudflare i czy inni dostawcy infrastruktury pójdą w jego ślady. Jedno jest pewne: era, w której robots.txt wystarczał do ochrony treści przed botami AI, dobiegła końca. Wydawcy muszą szukać nowych narzędzi, a operatorzy botów muszą liczyć się z konsekwencjami ignorowania woli właścicieli stron.