Darmowe narzędzie: SEO

Sprawdź plik robots.txt

Pobieramy Twój plik robots.txt i odczytujemy go tak, jak robią to roboty, zgodnie z RFC 9309. Zobacz, czy Googlebot może skanować podaną stronę, czy cała witryna jest zablokowana, na które crawlery AI pozwalają Twoje reguły i jakie mapy witryny wymienia plik.

Za darmo. Sprawdza wpisany adres w około 20 sekund.

Co sprawdza to narzędzie

  • Plik i jego status

    Pobieramy /robots.txt ze źródła (origin) podanego adresu (ten sam schemat, host i port) i pokazujemy status HTTP oraz plik w takiej postaci, w jakiej jest serwowany.

  • Grupy dopasowane tak jak przez robota

    Reguły są pogrupowane według User-agent. Robot stosuje się do grupy, która go wymienia, a z grupy * korzysta tylko wtedy, gdy żadna grupa go nie wymienia; nie łączy tych dwóch.

  • Wygrywa najdłuższe dopasowanie

    W obrębie grupy decyduje reguła Allow lub Disallow z najdłuższą pasującą ścieżką, a przy remisie wygrywa Allow. * dopasowuje dowolny ciąg znaków, a $ oznacza koniec adresu URL.

  • Twoja strona a Googlebot

    Czy Googlebot może skanować dokładnie ten adres URL, który podano, według reguł, które go dotyczą.

  • Blokady całej witryny

    Czy wszystkim robotom nakazano trzymać się z dala od całej witryny.

  • Crawlery AI

    Czy Twoje reguły blokują, czy dopuszczają GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider i Meta-ExternalAgent.

  • Wiersze Sitemap

    Każdy wiersz Sitemap: w pliku, dzięki czemu możesz potwierdzić, że roboty są kierowane do właściwej mapy witryny.

Czego nie może sprawdzić

  • Niczego wymusić. robots.txt to prośba, której przestrzegają dobrze zachowujące się roboty, a inne ją ignorują. Aby chronić prywatne treści, umieść je za logowaniem.
  • Powiedzieć, czy strona jest zaindeksowana. Zablokowany adres URL nadal może pojawić się w wyszukiwarce, jeśli linkują do niego inne strony.
  • Pokazać, które roboty faktycznie odwiedzają Twoją witrynę i jak często. Te informacje znajdziesz w logach serwera.
  • Odczytać plików na innych hostach, takich jak subdomena lub CDN. Każdy host ma własny plik robots.txt.
  • Uwzględnić każdego crawlera. Lista obejmuje powszechnie używane crawlery AI, a nowe tokeny user-agent pojawiają się regularnie.

Dlaczego to ważne

robots.txt to pierwszy plik, o który prosi większość robotów, a jeden wiersz może zmienić sposób skanowania całej witryny. „Disallow: /” pod „User-agent: *”, pozostawione z etapu tworzenia strony, powstrzymuje wyszukiwarki przed skanowaniem czegokolwiek. Reguła przeznaczona dla jednego folderu, na przykład „Disallow: /p”, blokuje też /products i /pricing, bo reguły dopasowują początek ścieżki.

Plik pełni teraz drugą funkcję: mówi firmom AI, jakie treści mogą zbierać. Tokeny różnią się przeznaczeniem. OpenAI opisuje GPTBot jako robota zbierającego dane treningowe, a OAI-SearchBot jako robota wyszukującego strony do pokazywania w wyszukiwarce ChatGPT. Google-Extended określa, czy Google może używać Twoich treści na potrzeby swoich modeli Gemini, bez zmiany sposobu, w jaki skanuje wyszukiwarka Google. Zablokowanie jednego tokenu nie blokuje pozostałych, więc sprawdź każdy z nich pod kątem swoich zamiarów.

Kod statusu jest równie ważny jak treść. Brak pliku (404) jest nieszkodliwy: roboty traktują go jako zgodę na skanowanie wszystkiego. Błąd serwera to co innego. Dokumentacja Google mówi, że gdy robots.txt zwraca błąd 5xx, Google przez pierwsze 12 godzin wstrzymuje skanowanie witryny, a potem przez maksymalnie 30 dni korzysta z ostatniej kopii, którą udało się odczytać.

Jak czytać wyniki

HTTP 200
Plik został znaleziony, a pokazane reguły to te, które stosują roboty.
HTTP 404 lub inny kod 4xx
Pliku robots.txt nie ma, więc roboty mogą skanować wszystko. Dla wielu witryn to w porządku, o ile niczego nie trzeba wykluczać.
HTTP 5xx
Serwer nie zwrócił pliku. Google wstrzymuje skanowanie na czas trwania problemu, więc najpierw napraw błąd serwera.
Googlebot: dozwolony lub zablokowany (allowed or blocked)
Czy Googlebot może pobrać podany adres URL, według własnej grupy, jeśli plik ją zawiera, a w przeciwnym razie według grupy *.
Cała witryna zablokowana
Wszystkim robotom nakazano nie skanować żadnej ścieżki. Normalne w środowisku testowym; w działającej witrynie prawie zawsze to błąd.
Crawlery AI: zablokowane lub dozwolone (blocked or allowed)
Co Twoje reguły mówią o każdym tokenie. „Dozwolony” (allowed) obejmuje także sytuację, w której dla danego crawlera nie ma żadnej reguły.
Wymienione mapy witryny
Adresy URL map witryny z pliku. Każdy powinien być pełnym adresem URL zwracającym działającą mapę witryny XML.

Jak naprawić najczęstsze problemy

  • Cała witryna jest zablokowana

    Usuń „Disallow: /” z grupy „User-agent: *” albo zostaw wiersz Disallow pusty, aby dopuścić wszystko. Jeśli plik generuje Twoja platforma, sprawdź jej ustawienia widoczności w wyszukiwarkach i ewentualny szablon robots.txt; w Shopify jest to plik robots.txt.liquid w kodzie motywu.

  • Reguła blokuje więcej, niż miała

    Reguły dopasowują początek ścieżki. Reguły dla folderów kończ ukośnikiem (Disallow: /private/), a do dopasowania dokładnego zakończenia używaj $ (Disallow: /*.pdf$). Potem ponownie sprawdź adresy URL, które są dla Ciebie ważne.

  • Googlebot ignoruje Twoje reguły *

    Gdy plik zawiera grupę „User-agent: Googlebot”, Googlebot stosuje się tylko do niej. Skopiuj do jego własnej grupy każdą regułę, której ma nadal przestrzegać.

  • Rezygnacja z trenowania AI przy zachowaniu obecności w wyszukiwarce

    Dodaj grupę dla każdego robota zbierającego dane treningowe, na przykład „User-agent: GPTBot”, a pod nim „Disallow: /”, i zrób to samo dla ClaudeBot, CCBot, Google-Extended i Applebot-Extended. Nie zmieniaj reguł dla Googlebot i Bingbot. Osobno zdecyduj o OAI-SearchBot, Claude-SearchBot i PerplexityBot, które pomagają Twoim stronom pojawiać się w odpowiedziach wyszukiwania tych usług.

  • Usuwanie stron z Google za pomocą robots.txt

    Disallow blokuje skanowanie, a nie indeksowanie. Aby wykluczyć stronę z wyszukiwarki, zezwól na skanowanie i dodaj <meta name="robots" content="noindex"> albo zwróć 404 lub 410, jeśli strony już nie ma. Narzędzie Usunięcia w Search Console w pilnych przypadkach tymczasowo ukrywa adres URL.

Pytania o to narzędzie

Czy robots.txt powstrzyma firmy AI przed wykorzystywaniem moich treści?

Tylko w przypadku robotów, które zdecydują się go przestrzegać, i dopiero od ich następnego skanowania. Nie usuwa treści zebranych, zanim dodano regułę.

Czy zablokowanie Google-Extended usunie moją witrynę z wyszukiwarki Google?

Nie. Google podaje, że Google-Extended nie wpływa na obecność ani pozycję w wyszukiwarce Google. Określa tylko, czy Google może używać Twoich treści na potrzeby swoich modeli Gemini; Googlebot skanuje witrynę tak jak wcześniej.

Czy brak pliku robots.txt to problem?

Nie. Jeśli /robots.txt zwraca 404, roboty zakładają, że mogą skanować wszystko. Dodaj plik, gdy chcesz trzymać roboty z dala od obszarów takich jak wewnętrzne wyniki wyszukiwania albo wskazać im mapę witryny.

Czy mogę ukryć prywatne strony za pomocą robots.txt?

Nie. Plik jest publiczny, więc wpisanie do niego prywatnych ścieżek tylko je ujawnia. Prywatne strony chroń logowaniem, a dla publicznych stron, które mają pozostać poza wyszukiwarką, używaj noindex.

Jak szybko Google zauważy zmianę?

Google zwykle przechowuje robots.txt w pamięci podręcznej do 24 godzin, więc zmiana może zacząć działać po około dobie. Raport robots.txt w Search Console pokazuje wersję ostatnio pobraną przez Google.

Źródła

Powiązane narzędzia

Raport naprawy SEO ($69, jednorazowo) zaczyna od pełnego darmowego skanu i dodaje więcej podstron, zmianę do wprowadzenia dla każdego wykrytego problemu, plik PDF i ponowne testy do weryfikacji poprawek.

Raport naprawy SEO: szczegóły