Wiedza · Trend · SEO
GPTBot w robots.txt: Ochrona treści czy cyfrowe samobójstwo?
Tradycyjne SEO przestaje wystarczać w dobie Answer Engines, które generują odpowiedzi bezpośrednio dla użytkownika. Blokowanie crawlerów takich jak GPTBot czy PerplexityBot to nie tylko ochrona własności, ale przede wszystkim ryzyko zniknięcia z radaru modeli AI. Oto co się zmienia i co możesz zrobić lepiej.
Co się właśnie zmienia
Modele LLM stają się nowym punktem wejścia dla użytkowników poszukujących konkretnych rozwiązań. Jeśli zablokujesz dostęp robotom AI, Twoja marka nie pojawi się w przypisach ani źródłach odpowiedzi generowanych przez ChatGPT czy Claude. Walka o ruch z tradycyjnego Google rozszerza się na walkę o obecność w pamięci modeli językowych.
Co możesz zrobić lepiej
Konkretnie, od dziś
- Nie blokuj wszystkich botów AI domyślnie; oceń wartość ruchu z platform takich jak Perplexity.
- W robots.txt rozróżnij boty wyszukujące (OAI-SearchBot, ChatGPT-User, PerplexityBot) od treningowych (GPTBot, ClaudeBot, Google-Extended) — tylko ta pierwsza grupa odsyła ludzi na Twoją stronę.
- Monitoruj, jak Twoja marka jest opisywana przez LLM, zamiast tylko śledzić pozycje w Google.
- Traktuj boty AI jako szansę na darmową dystrybucję wiedzy eksperckiej w ekosystemie AI.
Dowód z naszych wdrożeń
W DIGITAL DTL nasz robots.txt jawnie wpuszcza 11 crawlerów AI — zarówno wyszukujące, jak i treningowe — a obok leży llms.txt, czyli mapa serwisu pisana pod modele. Zbudowaliśmy też własny checker widoczności: odpytuje Gemini o zestaw fraz i pokazuje, czy marka w ogóle pada w odpowiedzi. To jeden model, nie cały rynek — ale nawet tyle wystarczy, żeby zobaczyć różnicę między „jesteśmy w indeksie” a „jesteśmy w odpowiedzi”.
Najczęstsze pytania
Czy blokowanie GPTBot wpłynie na pozycje w Google?
Bezpośrednio nie – Googlebot to osobny crawler. Jednak brak Twoich treści w modelach AI może sprawić, że użytkownicy korzystający z AI Search nigdy nie trafią na Twoją stronę.
Które boty AI warto wpuszczać?
Najpierw rozdziel dwie grupy, bo robią co innego. Cytowania i ruch zwrotny dają boty wyszukujące: OAI-SearchBot (indeks ChatGPT), ChatGPT-User i Claude-User (pobranie strony na żądanie użytkownika) oraz PerplexityBot. Osobną grupą są boty treningowe — GPTBot, ClaudeBot, Google-Extended — które zasilają modele, ale same nie odsyłają nikogo na stronę. Jeśli zależy Ci na obecności w odpowiedziach z przypisami, w pierwszej kolejności wpuść tę pierwszą grupę; zgoda na trenowanie to decyzja osobna i można ją podjąć inaczej.
Sprawdź swoją widoczność w AI
Nie pozwól, aby Twoja firma była niewidoczna dla użytkowników ChatGPT i Claude. Pomożemy Ci ustawić robots.txt tak, by chronić dane i budować zasięgi.
