Cloudflare wprowadza AI Labyrinth do walki z web scrapingiem
Cloudflare, jeden z największych dostawców infrastruktury internetowej na świecie, zaprezentował nowe narzędzie o nazwie AI Labyrinth. Jest to innowacyjne rozwiązanie stworzone do walki z botami, które bez pozwolenia zbierają dane ze stron internetowych na potrzeby trenowania sztucznej inteligencji.
Jak działa AI Labyrinth?
Kiedy system wykryje niepożądane zachowanie botów, to darmowe i opcjonalne narzędzie prowadzi crawlery przez sieć linków do stron-pułapek generowanych przez AI. Celem jest spowolnienie, dezorientacja i marnowanie zasobów podmiotów działających w złej wierze. Według Cloudflare, linki te pozostają niewidoczne dla zwykłych użytkowników.
Problem z przestrzeganiem zasad robots.txt
Strony internetowe od dawna stosowały system w postaci pliku robots.txt, który określa zasady dostępu dla scraperów. Jednak nawet znane firmy AI, jak Anthropic czy Perplexity AI, były oskarżane o ignorowanie tych wytycznych. Cloudflare informuje, że codziennie obserwuje ponad 50 miliardów zapytań od web crawlerów, a dotychczasowe metody blokowania złośliwych botów prowadziły jedynie do nieustannego wyścigu zbrojeń.
Inteligentna pułapka na boty
AI Labyrinth działa jako zaawansowana pułapka, która wciąga crawlery AI w coraz głębsze poziomy fałszywych stron. W przeciwieństwie do zwykłych użytkowników, boty będą dalej podążać za linkami do sztucznych treści. To pozwala Cloudflare nie tylko na identyfikację złośliwych botów, ale także na wykrywanie nowych wzorców i sygnatur botów, które wcześniej mogły pozostać niezauważone.
Generowanie wiarygodnych treści-pułapek
Cloudflare opracował specjalną metodologię tworzenia treści-przynęt. Najpierw generowane są różnorodne tematy, a następnie tworzone są dla nich odpowiednie treści. Firma podkreśla, że generowane treści są rzeczywiste i oparte na faktach naukowych, aby uniknąć rozprzestrzeniania dezinformacji w internecie, jednak nie są one związane z właściwą zawartością chronionej witryny.
Przyszłość AI Labyrinth
Administratorzy stron mogą włączyć AI Labyrinth w panelu zarządzania Cloudflare w sekcji Bot Management.
Firma zapowiada, że obecna wersja to dopiero początek wykorzystania generatywnej AI do walki z botami. W planach jest tworzenie całych sieci powiązanych URL-i, które będą trudne do zidentyfikowania jako fałszywe przez boty. Rozwiązanie to przypomina narzędzie Nepenthes, które potrafi unieruchomić crawlery na „miesiące” w pułapce bezwartościowych danych generowanych przez AI.