Twoja strona po cichu blokuje ChatGPT. Sprawdź swój plik robots.txt.

Większość plików robots.txt, które widzieliśmy w ciągu ostatniego roku, powstała, zanim ktokolwiek słyszał o GPTBot. Ktoś skonfigurował go raz, przy starcie strony, wkleił bezpieczny szablon z internetu albo zostawił domyślne ustawienie wtyczki bezpieczeństwa — i od tamtej pory nikt do niego nie wracał.

Problem w tym, że ten sam plik, który kiedyś dbał tylko o Googlebota, dziś decyduje też o czymś, o czym mało kto myślał w momencie jego tworzenia: czy ChatGPT, Claude czy Perplexity w ogóle mogą przeczytać Twoją stronę, żeby kogoś do niej odesłać. Jeśli ktoś wcześniej „dla bezpieczeństwa” zablokował wszystkie nierozpoznane boty, całkiem możliwe, że po cichu zablokował też każdą szansę na to, żeby AI polecało Twoją firmę.

Kto dziś odwiedza Twoją stronę

Kiedyś lista botów odwiedzających stronę firmową była krótka: Googlebot, może Bingbot, sporadycznie jakiś crawler SEO. Dziś ta lista jest dużo dłuższa, a każdy z nowych gości ma inny cel.

Googlebot — klasyczny crawler Google, odpowiada za obecność w wynikach wyszukiwania. Blokowanie go to jak zamknięcie firmy na głucho.

GPTBot (OpenAI) — crawler, który zbiera treści do trenowania modeli takich jak GPT. Nie odpowiada bezpośrednio za to, czy pojawisz się w odpowiedzi ChatGPT na konkretne pytanie użytkownika.

OAI-SearchBot (OpenAI) — osobny bot, który indeksuje strony na potrzeby funkcji wyszukiwania w ChatGPT. To on realnie odpowiada za to, czy Twoja strona może zostać zacytowana w odpowiedzi.

ChatGPT-User (OpenAI) — jeszcze inny mechanizm: uruchamia się w momencie, gdy konkretny użytkownik w rozmowie z ChatGPT prosi o sprawdzenie konkretnej strony. To pojedyncze, doraźne odwiedziny, nie ciągłe indeksowanie.

ClaudeBot (Anthropic) — odpowiednik GPTBota po stronie Anthropic: zbiera dane do trenowania modeli Claude.

Claude-SearchBot i Claude-User (Anthropic) — analogicznie do OpenAI, osobne boty odpowiadające za wyszukiwanie i cytowanie w czasie rozmowy z Claude.

PerplexityBot (Perplexity) — Perplexity nie trenuje własnych dużych modeli, więc ten bot służy niemal wyłącznie do wyszukiwania i cytowania stron w odpowiedziach.

Google-Extended (Google) — to nie to samo co Googlebot. Ten token kontroluje wyłącznie, czy Twoje treści mogą trenować Gemini i inne modele generatywne Google. Zablokowanie go nie ma żadnego wpływu na pozycję w wynikach wyszukiwania Google.

Krajobraz tych botów zmienia się kilka razy w roku — nowe nazwy pojawiają się przy każdym większym wdrożeniu funkcji AI przez duże firmy technologiczne. Zanim zmienisz cokolwiek na swojej stronie, warto sprawdzić aktualną dokumentację danego dostawcy, bo szczegóły takie jak dokładna nazwa czy zakres bota potrafią się zmienić.

Różnica: crawler treningowy vs bot wyszukiwania

To rozróżnienie jest sercem całego tematu i najczęstszym źródłem pomyłek.

Bot treningowy zbiera treści, żeby w przyszłości trafiły do procesu uczenia kolejnej wersji modelu. Efekt tej pracy zobaczysz — jeśli w ogóle — za miesiące, przy premierze nowej wersji AI, i nigdy nie dowiesz się dokładnie, w jaki sposób Twoje treści zostały wykorzystane.

Bot wyszukiwania / cytowania działa zupełnie inaczej: odpytuje Twoją stronę po to, żeby móc ją zacytować w odpowiedzi na konkretne pytanie zadane dziś, jutro, za tydzień. To właśnie ten mechanizm decyduje, czy klient pytający AI o firmę taką jak Twoja w ogóle ma szansę trafić na Twoją stronę — dokładnie temat, który poruszaliśmy przy okazji audytu widoczności w AI.

Kluczowa, praktyczna konsekwencja: można zablokować jedno, nie blokując drugiego. Możesz zdecydować, że nie chcesz, by Twoje treści trafiały do zbioru treningowego kolejnej wersji modelu, i jednocześnie chcieć, żeby ten sam dostawca AI mógł Cię cytować w odpowiedziach na żywo. To dwie osobne decyzje, wymagające dwóch osobnych wpisów w pliku — a większość gotowych, „bezpiecznych” szablonów robots.txt sprzed 2024 roku w ogóle tego rozróżnienia nie uwzględnia.

Kiedy blokada to strzał w kolano

Trzy najczęstsze sytuacje, w których firma sama, nieświadomie, odcina się od widoczności w AI:

*Reguła „Disallow: /" pod User-agent: . Jeśli plik ma taką linię bez żadnych wyjątków dla konkretnych botów, blokujesz dosłownie wszystko — łącznie z botami wyszukiwania AI, których istnienia mógł nie znać nikt w momencie pisania tej reguły.

Zbyt agresywna wtyczka bezpieczeństwa lub konfiguracja CDN. Część zapór (WAF) i wtyczek firewallowych ma domyślnie włączoną kategorię „boty" traktowaną jako zagrożenie, do której trafiają też OAI-SearchBot czy PerplexityBot — mimo że to legalne, deklarujące się crawlery, a nie złośliwe boty.

Blokada „dla pewności", bez rozróżnienia bota treningowego od wyszukiwania. To najczęstszy błąd firm, które świadomie chciały nie oddawać swoich treści do trenowania modeli — i przy okazji, jednym wierszem, zablokowały też bota odpowiedzialnego za cytowanie ich w odpowiedziach na żywo.

We wszystkich trzech przypadkach skutek jest ten sam: strona istnieje, wygląda dobrze, jest zoptymalizowana pod SEO — a mimo to jest niewidoczna dla całej kategorii zapytań, które dziś zadaje się nie w Google, a w oknie czatu.

Gotowy, bezpieczny wzór robots.txt

Poniższy wzór rozdziela boty treningowe od botów wyszukiwania i cytowania. Blokuje trenowanie modeli, jeśli tego chcesz, ale zostawia otwartą furtkę do cytowań — czyli realnej widoczności w odpowiedziach AI. Traktuj go jako punkt wyjścia, nie gotowe rozwiązanie dla każdej strony — jeśli prowadzisz sklep z unikalnymi treściami, które chronisz przed kopiowaniem, decyzje o botach treningowych mogą wyglądać u Ciebie inaczej.

# Standardowe wyszukiwarki — zawsze dopuszczone
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# OpenAI — dopuszczamy wyszukiwanie i cytowanie w ChatGPT
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# OpenAI — trenowanie modeli: decyzja opcjonalna
User-agent: GPTBot
Disallow: /

# Anthropic — dopuszczamy wyszukiwanie i cytowanie w Claude
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Anthropic — trenowanie modeli: decyzja opcjonalna
User-agent: ClaudeBot
Disallow: /

# Perplexity — praktycznie wyłącznie wyszukiwanie i cytowanie
User-agent: PerplexityBot
Allow: /

# Google — opt-out z trenowania Gemini, bez wpływu na wyniki wyszukiwania
User-agent: Google-Extended
Disallow: /

Sitemap: https://twojadomena.pl/sitemap.xml

Kilka uwag praktycznych do tego wzoru:

• Jeśli zależy Ci wyłącznie na maksymalnej widoczności w AI i nie masz nic przeciwko trenowaniu modeli na Twoich treściach, po prostu zamień wszystkie „Disallow: /" na „Allow: /" — to legalna, powszechna decyzja, szczególnie dla stron firmowych i contentu edukacyjnego, gdzie zasięg i rozpoznawalność są ważniejsze niż kontrola nad wykorzystaniem treści.
• Ścieżki wrażliwe — panel logowania, koszyk, konto klienta — warto blokować dla wszystkich botów bez wyjątku, niezależnie od powyższych decyzji.
• Ten plik to prośba, nie zamek. robots.txt jest standardem, który dobrze skonfigurowane, uczciwe boty respektują dobrowolnie — nie ma mechanizmu, który wymuszałby jego przestrzeganie. Większość dużych dostawców AI deklaruje, że honoruje te reguły, ale niezależne analizy ruchu sieciowego wykazały, że niektóre mniej znane crawlery — w tym część infrastruktury Perplexity — potrafiły omijać te ustalenia, zmieniając identyfikację bota. Dla treści naprawdę wrażliwych robots.txt trzeba więc traktować jako pierwszą linię, nie jedyne zabezpieczenie.

Jak sprawdzić logi

Plik robots.txt mówi Ci, na co pozwalasz. Żeby dowiedzieć się, kto faktycznie odwiedza Twoją stronę, potrzebujesz zajrzeć w logi serwera.

Krok 1: znajdź logi dostępu. W zależności od hostingu znajdziesz je w panelu (cPanel, Plesk) w sekcji logów dostępu (access logs) albo poprosisz o nie administratora hostingu.

Krok 2: poszukaj konkretnych nazw botów. Jeśli masz dostęp do terminala, najprostszy sposób to przefiltrowanie pliku logów pod kątem znanych identyfikatorów:

grep -Ei "gptbot|oai-searchbot|chatgpt-user|claudebot|claude-searchbot|perplexitybot|google-extended" access.log

Krok 3: porównaj z tym, co faktycznie deklarujesz w robots.txt. Jeśli widzisz w logach próby wejścia OAI-SearchBota, a Twój plik go blokuje, właśnie znalazłeś konkretną, techniczną przyczynę, dla której Twoja firma może być pomijana w odpowiedziach ChatGPT.

Krok 4: nie ufaj samej nazwie w nagłówku bez zastrzeżeń. Nazwa bota w logach to deklaracja, którą teoretycznie może podszyć się dowolny inny ruch. Duzi, wiarygodni dostawcy (Google, OpenAI, Anthropic) publikują listy adresów IP, z których faktycznie działają ich boty — dla stron o wyższej wrażliwości warto zestawić adres IP z logów z oficjalną listą danego dostawcy, zamiast polegać wyłącznie na nazwie w nagłówku.

Jeśli po sprawdzeniu logów okaże się, że dany bot w ogóle nie próbuje wejść na Twoją stronę mimo otwartego robots.txt, to już nie kwestia blokady technicznej — to znak, że AI po prostu nie uznało Twojej strony za wystarczająco istotną, by ją odwiedzić. To zupełnie inny problem niż ten opisany w tym artykule, bliższy temu, o czym pisaliśmy przy komunikacji stron z AI i danych strukturalnych.

FAQ

Co to jest GPTBot? GPTBot to crawler OpenAI, który zbiera treści ze stron internetowych do trenowania modeli językowych. To osobny mechanizm od bota odpowiedzialnego za wyszukiwanie i cytowanie w ChatGPT.

Czy blokowanie GPTBota wpływa na widoczność w ChatGPT? Nie bezpośrednio. Widoczność w odpowiedziach ChatGPT na bieżące pytania zależy od bota wyszukiwania (OAI-SearchBot), a nie od bota treningowego (GPTBot) — to dwa osobne wpisy w robots.txt.

Czym różni się OAI-SearchBot od GPTBota? GPTBot zbiera dane do trenowania przyszłych modeli. OAI-SearchBot indeksuje strony na potrzeby funkcji wyszukiwania w ChatGPT i odpowiada za to, czy strona może zostać zacytowana w konkretnej odpowiedzi.

Czy Google-Extended to to samo co Googlebot? Nie. Googlebot odpowiada za obecność w wynikach wyszukiwania Google. Google-Extended kontroluje wyłącznie, czy treści mogą być wykorzystane do trenowania modeli Gemini — zablokowanie go nie wpływa na pozycję w wyszukiwarce.

Jak sprawdzić, czy moja strona blokuje boty AI? Wejdź na adres twojadomena.pl/robots.txt w przeglądarce i sprawdź, czy są tam wpisy dotyczące botów takich jak GPTBot, OAI-SearchBot, ClaudeBot czy PerplexityBot, oraz jakie mają ustawienia (Allow czy Disallow).

Czy wszystkie boty AI respektują robots.txt? Duzi, deklarujący się dostawcy zwykle honorują te reguły, ale nie jest to wymuszone technicznie. Niezależne analizy wykazały przypadki crawlerów omijających robots.txt poprzez zmianę identyfikacji — dlatego dla treści wymagających realnej ochrony potrzebne są dodatkowe zabezpieczenia na poziomie serwera.

Nie masz pewności, które boty AI Twoja strona wpuszcza, a które po cichu blokuje? Zamów Audyt AI-Ready — sprawdzimy robots.txt, logi i całą resztę technicznych fundamentów widoczności w AI.