Czy blokować roboty AI? GPTBot, OAI-SearchBot, ClaudeBot i PerplexityBot
Które roboty AI odpowiadają za widoczność w ChatGPT, Claude i Perplexity, a które za trenowanie modeli — i jak ustawić robots.txt, żeby nie zniknąć z odpowiedzi AI.
W skrócie: jeśli chcesz, żeby ChatGPT, Claude czy Perplexity polecały Twoją firmę, nie blokuj ich robotów wyszukujących: OAI-SearchBot, Claude-SearchBot i PerplexityBot. Roboty zbierające dane do trenowania modeli, takie jak GPTBot czy ClaudeBot, możesz blokować osobno — to inna decyzja. W Google o udziale w AI Overviews decyduje zwykły Googlebot, a nie ustawienie Google-Extended.
Wiele firm blokuje „roboty AI” jednym ruchem — przez wtyczkę, ustawienie hostingu albo regułę w pliku robots.txt skopiowaną z internetu. Efekt bywa odwrotny od zamierzonego: strona znika z odpowiedzi asystentów AI, w których klienci szukają dostawców. Poniżej wyjaśniamy, które roboty do czego służą i jak podjąć świadomą decyzję.
Trzy rodzaje robotów AI
- Roboty wyszukujące — budują indeks, z którego asystent korzysta, odpowiadając na pytania. Zablokowanie ich zwykle oznacza, że strona nie będzie pokazywana ani cytowana w odpowiedziach.
- Roboty treningowe — zbierają treści, które mogą zostać użyte do trenowania przyszłych modeli. Zablokowanie ich nie usuwa strony z wyszukiwania w danym narzędziu.
- Pobieranie na prośbę użytkownika — gdy ktoś w rozmowie poprosi asystenta o otwarcie strony. Dostawcy zastrzegają, że takie pobrania mogą nie podlegać regułom robots.txt, bo inicjuje je człowiek.
Najważniejsze roboty i ich rola
| Firma | Robot | Do czego służy | Skutek zablokowania |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Wyszukiwanie w ChatGPT | Strona nie pojawia się w odpowiedziach wyszukiwania ChatGPT |
| OpenAI | GPTBot | Trenowanie modeli | Treści nie trafią do trenowania; nie wpływa na wyszukiwanie |
| OpenAI | ChatGPT-User | Otwieranie stron na prośbę użytkownika | Według OpenAI reguły robots.txt mogą nie mieć zastosowania |
| Anthropic | Claude-SearchBot | Wyszukiwanie w Claude | Mniejsza widoczność w odpowiedziach |
| Anthropic | ClaudeBot | Trenowanie modeli | Treści nie trafią do trenowania |
| Anthropic | Claude-User | Pobieranie na prośbę użytkownika | Mniejsza widoczność w odpowiedziach na pytania użytkowników |
| Perplexity | PerplexityBot | Indeks wyszukiwarki Perplexity | Strona znika z indeksu, z którego Perplexity buduje odpowiedzi |
| Perplexity | Perplexity-User | Pobieranie na prośbę użytkownika | Według Perplexity zwykle nie stosuje się do robots.txt |
| Googlebot | Wyszukiwarka, w tym AI Overviews i tryb AI | Strona znika z wyników Google, także z funkcji AI | |
| Google-Extended (token) | Wykorzystanie treści w innych systemach AI Google | Nie wpływa na wyniki wyszukiwania ani AI Overviews |
Nazwy robotów i zasady ich działania zmieniają się — przed zmianą ustawień sprawdź aktualną dokumentację dostawców (linki na końcu artykułu).
Rekomendowane ustawienie dla firm, które chcą być polecane
Jeśli Twoim celem jest obecność w odpowiedziach AI, najprostsza zasada brzmi: wpuszczaj roboty wyszukujące, a o robotach treningowych zdecyduj osobno. Przykładowy plik robots.txt, który blokuje wyłącznie trenowanie modeli:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Disallow:
Sitemap: https://twojadomena.pl/sitemap.xmlNie musisz blokować trenowania — wiele firm świadomie je dopuszcza, licząc, że przyszłe modele lepiej poznają ich markę. To decyzja biznesowa, nie techniczna. Ważne, żeby nie zablokować przy okazji robotów wyszukujących.
Gdzie mogą się ukrywać blokady
- Plik robots.txt — zwłaszcza reguły dodane przez wtyczki SEO lub bezpieczeństwa.
- Zapory i CDN — usługi typu Cloudflare oferują jednym kliknięciem blokowanie „botów AI”, często łącznie z robotami wyszukującymi.
- Ustawienia hostingu — niektórzy dostawcy domyślnie ograniczają ruch automatyczny.
- Ochrona przed botami i CAPTCHA — robot, który dostaje stronę z weryfikacją zamiast treści, nie przeczyta oferty.
Jak to sprawdzić
- Otwórz
twojadomena.pl/robots.txti poszukaj regułDisallowprzy nazwach z tabeli powyżej. - Sprawdź panel zapory lub CDN, czy nie ma włączonego blokowania botów AI.
- Zajrzyj do logów serwera: czy pojawiają się wizyty OAI-SearchBot, PerplexityBot czy Claude-SearchBot i z jakim kodem odpowiedzi (200 oznacza, że robot dostał treść).
- Po zmianach odczekaj — dostawcy podają, że uwzględnienie zmian w robots.txt może potrwać około doby.
Dostęp dla robotów to tylko pierwszy krok. Co dalej wpływa na rekomendacje, opisujemy w przewodniku Pozycjonowanie w ChatGPT i AI (AEO/GEO).
Sprawdź swoją stronę: wpisz adres, a nasz darmowy test pokaże, czy roboty ChatGPT, Claude, Perplexity, Google i Bing mają dostęp do Twojej witryny i co warto poprawić.
Sprawdzamy robots.txt, indeksację, mapę witryny, dane strukturalne i llms.txt. Bez rejestracji.
Najczęstsze pytania
Czy zablokowanie GPTBot usunie moją firmę z ChatGPT?
Nie. GPTBot służy do zbierania danych treningowych. Za widoczność w wyszukiwaniu ChatGPT odpowiada OAI-SearchBot — to on nie powinien być blokowany, jeśli chcesz pojawiać się w odpowiedziach.
Czy mogę wyłączyć swoją stronę z AI Overviews, zostając w Google?
AI Overviews są częścią wyszukiwarki, więc nie da się ich wyłączyć osobnym robotem. Google pozwala ograniczać wykorzystanie treści dyrektywami nosnippet i max-snippet, ale wpływają one także na zwykłe wyniki. Więcej w artykule Jak pojawić się w Google AI Overviews.
Czy plik llms.txt zastępuje robots.txt?
Nie. Plik llms.txt to proponowany standard opisu strony dla modeli językowych, a nie mechanizm zezwalania lub blokowania dostępu. O dostępie robotów decyduje robots.txt oraz ustawienia serwera.
