Cloudflare wprowadza szczegółową kontrolę botów AI

Cloudflare od lipca 2024 roku oferuje klientom możliwość zablokowania wszystkich botów AI jednym kliknięciem. Teraz firma zmienia podejście – zamiast radykalnego odcięcia wprowadza system selektywnych uprawnień. Właściciele stron dostają do ręki narzędzia, które pozwalają decydować, jakie boty mają dostęp do ich treści i w jakim celu. To odpowiedź na rosnącą liczbę botów – według zapowiedzi dyrektora generalnego Matthew Prince’a, w czerwcu 2026 roku ruch botów po raz pierwszy przewyższył ruch ludzki, co nastąpiło szybciej, niż przewidywano.

Trzy kategorie dostępu – wyszukiwanie, trenowanie i agenci

Nowy panel sterowania Cloudflare dzieli boty na trzy grupy. Każda z nich odpowiada innemu typowi aktywności, a administrator witryny może osobno zezwalać lub blokować dostęp dla każdej kategorii.

Search – boty indeksujące wyszukiwarki

Pierwsza grupa obejmuje roboty odpowiedzialne za indeksowanie treści na potrzeby wyszukiwarek, takie jak Googlebot czy Bingbot. Ich zadaniem jest skanowanie stron i dodawanie ich do wyników wyszukiwania. Cloudflare pozostawia je domyślnie aktywne, ponieważ ich działanie jest zwykle korzystne dla widoczności witryny.

Training – boty zbierające dane do trenowania modeli AI

Druga kategoria to crawlery pozyskujące treści do szkolenia systemów sztucznej inteligencji. Coraz więcej firm wykorzystuje publiczne strony do zbierania tekstów, obrazów czy kodu, które następnie trafiają do zbiorów treningowych. Cloudflare daje właścicielom witryn możliwość odcięcia tych botów, jeśli nie chcą, aby ich materiały były używane bez zgody.

Agent – boty działające w imieniu użytkownika

Trzecia grupa to agenci działający na rzecz konkretnej osoby, na przykład ChatGPT podczas generowania odpowiedzi w czasie rzeczywistym. Takie boty wykonują zadania dla użytkowników końcowych, ale mogą obciążać serwery i pobierać treści poza kontrolą właściciela strony. Oddzielna kategoria pozwala precyzyjnie zarządzać ich dostępem.

Domyślne blokady dla stron z reklamami i wielofunkcyjne crawlery

Od 15 września 2026 roku Cloudflare wprowadza dodatkową zasadę. Boty z kategorii Training i Agent będą domyślnie blokowane na wszystkich stronach, które wyświetlają reklamy. Firma uzasadnia to logiką biznesową – obecność reklam sygnalizuje, że witryna oczekuje przede wszystkim odwiedzin ludzkich użytkowników, a nie maszynowego skanowania treści. Wyszukiwarkowe crawlery nadal będą mogły indeksować takie strony, ponieważ ich działanie wspiera ruch organiczny.

Problem pojawia się przy botach wielofunkcyjnych, jak Googlebot, który jednocześnie indeksuje dla wyszukiwarki i zbiera dane do trenowania AI. Cloudflare przyjmuje wtedy zasadę najsurowszego ograniczenia – jeśli bot należy do kilku kategorii, zastosowanie ma ta reguła, która daje najmniejsze uprawnienia. W praktyce oznacza to, że Googlebot na stronie z reklamami będzie mógł działać tylko jako crawler wyszukiwarki, a jego funkcje treningowe zostaną zablokowane.

Matthew Prince wielokrotnie krytykował łączenie crawlerów wyszukiwarkowych z AI przez Google. Nowe zasady wymuszają na operatorach botów rozdzielenie tych funkcji – jeśli chcą zachować dostęp do treści, muszą udowodnić, że ich roboty działają zgodnie z deklarowanym celem.

BotBase i nowe reguły weryfikacji dla przedsiębiorstw

Cloudflare nie poprzestaje na trzech kategoriach. Dla klientów korporacyjnych uruchamia BotBase – przeszukiwalną bazę wszystkich znanych botów, wbudowaną bezpośrednio w panel administracyjny. Narzędzie szczegółowo opisuje każdy bot: pokazuje, jak został sklasyfikowany, do czego wykorzystuje pobrane treści (czy tylko linkuje do stron, czy odtwarza je w całości) oraz jakie ma uprawnienia.

Zmianie ulegają też reguły dla tzw. botów zweryfikowanych. Wcześniej wszystkie roboty z certyfikatem Verified miały automatyczny dostęp do stron. Nowe podejście sprawdza nie tyle samą weryfikację, co kategorię bota. Operator musi nie tylko uczciwie się identyfikować, ale też przestrzegać ograniczeń wynikających z przyznanego dostępu. Jeśli bot przekroczy swoje uprawnienia, może stracić status Verified i tym samym dostęp do wielu witryn.

Nowe narzędzia są dostępne już teraz dla wszystkich użytkowników Cloudflare, również na darmowym planie. To ważny krok w stronę transparentności i kontroli nad ruchem botów – zwłaszcza w obliczu prognoz, że ich dominacja nad ruchem ludzkim będzie tylko rosnąć.

Cloudflare daje w ręce właścicieli stron mechanizmy, które balansują między potrzebą indeksowania, ochroną treści przed niekontrolowanym wykorzystaniem a zapewnieniem dobrego doświadczenia dla ludzkich odwiedzających. Wybór, które boty wpuszczać, a które blokować, staje się bardziej świadomy i precyzyjny niż kiedykolwiek.