Instrument gratuit: SEO

Verificare robots.txt

Preluăm fișierul robots.txt și îl citim așa cum fac crawlerele, conform RFC 9309. Vedeți dacă Googlebot poate accesa pagina introdusă, dacă tot site-ul este blocat, ce crawlere AI permit regulile dumneavoastră și ce sitemapuri listează fișierul.

Gratuit. Verifică adresa introdusă în aproximativ 20 de secunde.

Ce verifică acest instrument

  • Fișierul și statusul lui

    Solicităm /robots.txt de la originea adresei introduse (aceeași schemă, aceeași gazdă și același port) și afișăm statusul HTTP și fișierul așa cum este servit.

  • Grupuri potrivite ca de un crawler

    Regulile sunt grupate după User-agent. Un crawler urmează grupul care îl numește și folosește grupul * doar când niciun grup nu îl numește; nu le combină pe cele două.

  • Câștigă potrivirea cea mai lungă

    În cadrul unui grup decide regula Allow sau Disallow cu cea mai lungă cale potrivită, iar la egalitate câștigă Allow. * se potrivește cu orice șir de caractere, iar $ marchează sfârșitul URL-ului.

  • Pagina dumneavoastră și Googlebot

    Dacă Googlebot poate accesa exact URL-ul introdus, conform regulilor care i se aplică.

  • Blocări pentru tot site-ul

    Dacă tuturor crawlerelor li se cere să stea departe de întregul site.

  • Crawlere AI

    Dacă regulile dumneavoastră blochează sau permit GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider și Meta-ExternalAgent.

  • Liniile Sitemap

    Fiecare linie Sitemap: din fișier, ca să puteți confirma că crawlerele sunt trimise spre sitemapul corect.

Ce nu poate verifica

  • Nu poate impune nimic. robots.txt este o cerere pe care crawlerele corecte o respectă, iar altele o ignoră. Pentru a păstra conținutul privat, puneți-l în spatele unei autentificări.
  • Nu vă poate spune dacă o pagină este indexată. Un URL blocat poate apărea totuși în căutare dacă alte pagini trimit spre el.
  • Nu poate arăta ce crawlere vizitează efectiv site-ul sau cât de des. Aceste informații se găsesc în jurnalele serverului.
  • Nu poate citi fișierele de pe alte gazde, cum ar fi un subdomeniu sau un CDN. Fiecare gazdă are propriul robots.txt.
  • Nu poate acoperi toate crawlerele. Lista include crawlerele AI larg folosite, iar noi tokenuri de user agent apar în mod regulat.

De ce contează

robots.txt este primul fișier pe care îl solicită majoritatea crawlerelor, iar o singură linie poate schimba felul în care este accesat un site întreg. „Disallow: /” sub „User-agent: *”, rămas din perioada de dezvoltare, împiedică motoarele de căutare să acceseze orice. O regulă gândită pentru un singur director, cum ar fi „Disallow: /p”, blochează și /products și /pricing, pentru că regulile se potrivesc cu începutul căii.

Fișierul are acum și un al doilea rol: le spune companiilor de AI ce conținut pot colecta. Tokenurile diferă în funcție de scop. OpenAI documentează GPTBot pentru colectarea datelor de antrenare și OAI-SearchBot pentru găsirea paginilor afișate în căutarea din ChatGPT. Google-Extended controlează dacă Google vă poate folosi conținutul pentru modelele sale Gemini, fără să schimbe felul în care Google Search accesează site-ul. Blocarea unui token nu le blochează pe celelalte, așa că verificați fiecare token față de ce intenționați.

Codul de status contează la fel de mult ca și conținutul. Un fișier lipsă (404) este inofensiv: crawlerele îl consideră o permisiune de a accesa tot. O eroare de server este altceva. Documentația Google spune că, atunci când robots.txt returnează o eroare 5xx, Google oprește accesarea site-ului în primele 12 ore, apoi folosește ultima copie pe care a putut-o citi, timp de până la 30 de zile.

Cum să citiți rezultatele

HTTP 200
Fișierul a fost găsit, iar regulile afișate sunt cele pe care le aplică crawlerele.
HTTP 404 sau alt cod 4xx
Nu există robots.txt, așa că crawlerele pot accesa tot. Este în regulă pentru multe site-uri, atât timp cât nimic nu trebuie ținut departe de crawlere.
HTTP 5xx
Serverul nu a reușit să returneze fișierul. Google întrerupe accesarea cât timp durează situația, așa că remediați mai întâi eroarea de server.
Googlebot: permis sau blocat (allowed or blocked)
Dacă Googlebot poate prelua URL-ul introdus, conform propriului grup, dacă fișierul are unul, altfel conform grupului *.
Tot site-ul blocat
Tuturor crawlerelor li se spune să nu acceseze nicio cale. Normal pe un site de staging; aproape întotdeauna o greșeală pe un site live.
Crawlere AI: blocat sau permis (blocked or allowed)
Ce spun regulile dumneavoastră pentru fiecare token. „Permis” include și cazul în care nu există nicio regulă pentru acel crawler.
Sitemapuri listate
URL-urile sitemapurilor din fișier. Fiecare ar trebui să fie un URL complet care returnează un sitemap XML funcțional.

Cum remediați cele mai frecvente probleme

  • Tot site-ul este blocat

    Eliminați „Disallow: /” din grupul „User-agent: *” sau lăsați linia Disallow goală pentru a permite totul. Dacă platforma generează fișierul, verificați setările de vizibilitate în căutare și orice șablon robots.txt; în Shopify, acesta este robots.txt.liquid din codul temei.

  • O regulă blochează mai mult decât trebuie

    Regulile se potrivesc cu începutul căii. Încheiați regulile pentru directoare cu o bară oblică (Disallow: /private/) și folosiți $ pentru a potrivi exact finalul (Disallow: /*.pdf$). Apoi verificați din nou URL-urile care contează pentru dumneavoastră.

  • Googlebot ignoră regulile pentru *

    Când fișierul are un grup „User-agent: Googlebot”, Googlebot urmează doar acel grup. Copiați în grupul lui fiecare regulă pe care vreți ca Googlebot să o respecte în continuare.

  • Cum refuzați antrenarea AI și rămâneți în căutare

    Adăugați un grup pentru fiecare crawler de antrenare, de exemplu „User-agent: GPTBot” urmat de „Disallow: /”, și procedați la fel pentru ClaudeBot, CCBot, Google-Extended și Applebot-Extended. Nu modificați nimic pentru Googlebot și Bingbot. Decideți separat în privința OAI-SearchBot, Claude-SearchBot și PerplexityBot, care vă ajută paginile să apară în răspunsurile de căutare ale acelor servicii.

  • Folosirea robots.txt pentru a elimina pagini din Google

    Disallow oprește accesarea, nu indexarea. Pentru a ține o pagină în afara căutării, permiteți accesarea și adăugați <meta name="robots" content="noindex"> sau returnați 404 ori 410 dacă pagina nu mai există. În cazuri urgente, instrumentul Eliminări din Search Console ascunde temporar un URL.

Întrebări despre acest instrument

Împiedică robots.txt companiile de AI să îmi folosească conținutul?

Doar în cazul crawlerelor care aleg să îl respecte și doar începând cu următoarea lor accesare. Nu elimină conținutul colectat înainte să adăugați regula.

Blocarea Google-Extended îmi va scoate site-ul din Google Search?

Nu. Google spune că Google-Extended nu influențează includerea sau poziționarea în Google Search. Controlează doar dacă Google vă poate folosi conținutul pentru modelele sale Gemini; Googlebot continuă să acceseze site-ul ca înainte.

Este o problemă dacă lipsește fișierul robots.txt?

Nu. Dacă /robots.txt returnează 404, crawlerele presupun că pot accesa tot. Adăugați unul când trebuie să țineți crawlerele departe de zone precum rezultatele căutării interne sau ca să le indicați sitemapul.

Pot ascunde pagini private cu robots.txt?

Nu. Fișierul este public, așa că, dacă listați căi private în el, le faceți cunoscute. Protejați paginile private cu o autentificare și folosiți noindex pentru paginile publice care trebuie să rămână în afara căutării.

Cât de repede observă Google o modificare?

Google păstrează de regulă robots.txt în cache timp de până la 24 de ore, așa că o modificare se poate aplica abia după aproximativ o zi. Raportul robots.txt din Search Console arată versiunea pe care Google a preluat-o ultima dată.

Surse

Instrumente similare

Raport de remediere SEO ($69, plată unică) pornește de la scanarea gratuită completă și adaugă mai multe pagini, modificarea de făcut pentru fiecare constatare, un PDF și retestări pentru verificarea remedierilor.

Raport de remediere SEO: detalii