Strumento gratuito: SEO

Verifica robots.txt

Recuperiamo il tuo robots.txt e lo leggiamo come fanno i crawler, secondo RFC 9309. Scopri se Googlebot può scansionare la pagina che hai inserito, se l’intero sito è bloccato, quali crawler IA le tue regole consentono e quali sitemap elenca il file.

Gratis. Controlla l’indirizzo che inserisci in circa 20 secondi.

Cosa controlla questo strumento

  • Il file e il suo stato

    Richiediamo /robots.txt all’origine dell’indirizzo che inserisci (stesso schema, host e porta) e mostriamo lo stato HTTP e il file così come viene servito.

  • Gruppi abbinati come fa un crawler

    Le regole sono raggruppate per User-agent. Un crawler segue il gruppo che lo nomina e usa il gruppo * solo quando nessun gruppo lo nomina; non mescola i due.

  • Vince la corrispondenza più lunga

    All’interno di un gruppo decide la regola Allow o Disallow con il percorso corrispondente più lungo, e in caso di parità vince Allow. * corrisponde a qualsiasi sequenza di caratteri e $ indica la fine dell’URL.

  • La tua pagina e Googlebot

    Se Googlebot può scansionare l’URL esatto che hai inserito, secondo le regole che gli si applicano.

  • Blocchi dell’intero sito

    Se a tutti i crawler viene chiesto di restare fuori dall’intero sito.

  • Crawler IA

    Se le tue regole bloccano o consentono GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider e Meta-ExternalAgent.

  • Righe Sitemap

    Ogni riga Sitemap: del file, così puoi verificare che i crawler vengano indirizzati alla sitemap giusta.

Cosa non può controllare

  • Imporre qualcosa. robots.txt è una richiesta che i crawler corretti rispettano e gli altri ignorano. Per mantenere privati dei contenuti, mettili dietro un login.
  • Dirti se una pagina è indicizzata. Un URL bloccato può comunque comparire nella ricerca se altre pagine vi rimandano.
  • Mostrare quali crawler visitano davvero il tuo sito o con che frequenza. Questo lo dicono i log del tuo server.
  • Leggere i file su altri host, come un sottodominio o una CDN. Ogni host ha il proprio robots.txt.
  • Coprire tutti i crawler. L’elenco include i crawler IA più diffusi, e nuovi token user-agent compaiono regolarmente.

Perché è importante

robots.txt è il primo file che la maggior parte dei crawler richiede, e una sola riga può cambiare il modo in cui viene scansionato un intero sito. «Disallow: /» sotto «User-agent: *», rimasto dalla fase di sviluppo, impedisce ai motori di ricerca di scansionare qualsiasi cosa. Una regola pensata per una cartella, come «Disallow: /p», blocca anche /products e /pricing, perché le regole corrispondono all’inizio del percorso.

Oggi il file svolge anche un secondo compito: dire alle aziende di IA quali contenuti possono raccogliere. I token cambiano in base allo scopo. OpenAI documenta GPTBot per la raccolta dei dati di addestramento e OAI-SearchBot per trovare le pagine da mostrare nella ricerca di ChatGPT. Google-Extended controlla se Google può usare i tuoi contenuti per i suoi modelli Gemini, senza cambiare il modo in cui la Ricerca Google esegue la scansione. Bloccare un token non blocca gli altri, quindi verifica ciascuno rispetto a ciò che intendi fare.

Il codice di stato conta quanto il contenuto. Un file mancante (404) è innocuo: i crawler lo considerano un permesso di scansionare tutto. Un errore del server è diverso. La documentazione di Google dice che, quando robots.txt restituisce un errore 5xx, Google interrompe la scansione del sito per le prime 12 ore, poi usa l’ultima copia che è riuscito a leggere per un massimo di 30 giorni.

Come leggere i risultati

HTTP 200
Il file è stato trovato e le regole mostrate sono quelle che i crawler applicano.
HTTP 404 o un altro 4xx
Non c’è un robots.txt, quindi i crawler possono scansionare tutto. Va bene per molti siti, purché non ci sia nulla da tenere fuori.
HTTP 5xx
Il server non è riuscito a restituire il file. Google sospende la scansione finché la situazione dura, quindi correggi prima l’errore del server.
Googlebot: consentito o bloccato (allowed or blocked)
Se Googlebot può recuperare l’URL che hai inserito, secondo il proprio gruppo se il file ne ha uno, altrimenti secondo il gruppo *.
Intero sito bloccato
A tutti i crawler viene detto di non scansionare alcun percorso. Normale su un sito di staging; quasi sempre un errore su un sito pubblicato.
Crawler IA: bloccato o consentito (blocked or allowed)
Cosa dicono le tue regole per ciascun token. «Consentito» include anche il caso in cui non ci sia alcuna regola per quel crawler.
Sitemap elencate
Gli URL delle sitemap presenti nel file. Ognuno dovrebbe essere un URL completo che restituisce una sitemap XML funzionante.

Come correggere i problemi più comuni

  • L’intero sito è bloccato

    Rimuovi «Disallow: /» dal gruppo «User-agent: *», oppure lascia vuota la riga Disallow per consentire tutto. Se il file è generato dalla tua piattaforma, controlla le impostazioni di visibilità sui motori di ricerca e l’eventuale template di robots.txt; su Shopify è robots.txt.liquid nel codice del tema.

  • Una regola blocca più del previsto

    Le regole corrispondono all’inizio di un percorso. Termina le regole per le cartelle con una barra (Disallow: /private/) e usa $ per indicare una fine esatta (Disallow: /*.pdf$). Poi ricontrolla gli URL che ti interessano.

  • Googlebot ignora le tue regole *

    Quando il file ha un gruppo «User-agent: Googlebot», Googlebot segue solo quel gruppo. Copia nel suo gruppo ogni regola che vuoi che Googlebot continui a rispettare.

  • Escludersi dall’addestramento IA restando nella ricerca

    Aggiungi un gruppo per ogni crawler di addestramento, ad esempio «User-agent: GPTBot» seguito da «Disallow: /», e fai lo stesso per ClaudeBot, CCBot, Google-Extended e Applebot-Extended. Lascia stare Googlebot e Bingbot. Decidi a parte su OAI-SearchBot, Claude-SearchBot e PerplexityBot, che aiutano le tue pagine a comparire nelle risposte di ricerca di quei servizi.

  • Usare robots.txt per rimuovere pagine da Google

    Disallow blocca la scansione, non l’indicizzazione. Per tenere una pagina fuori dalla ricerca, consenti la scansione e aggiungi <meta name="robots" content="noindex">, oppure restituisci 404 o 410 se la pagina non esiste più. Lo strumento Rimozioni di Search Console nasconde temporaneamente un URL nei casi urgenti.

Domande su questo strumento

robots.txt impedisce alle aziende di IA di usare i miei contenuti?

Solo per i crawler che scelgono di rispettarlo, e solo dalla scansione successiva. Non rimuove i contenuti raccolti prima che aggiungessi la regola.

Bloccare Google-Extended rimuove il mio sito dalla Ricerca Google?

No. Google afferma che Google-Extended non influisce sull’inclusione né sul posizionamento nella Ricerca Google. Controlla solo se Google può usare i tuoi contenuti per i suoi modelli Gemini; Googlebot continua a scansionare come prima.

Un robots.txt mancante è un problema?

No. Se /robots.txt restituisce 404, i crawler presumono di poter scansionare tutto. Aggiungine uno quando devi tenere i crawler lontani da aree come i risultati della ricerca interna, o per indicare loro la tua sitemap.

Posso nascondere le pagine private con robots.txt?

No. Il file è pubblico, quindi elencarvi i percorsi privati li rende noti a tutti. Proteggi le pagine private con un login e usa noindex per le pagine pubbliche che devono restare fuori dalla ricerca.

Quanto ci mette Google ad accorgersi di una modifica?

In genere Google memorizza robots.txt nella cache per un massimo di 24 ore, quindi una modifica può richiedere circa un giorno per essere applicata. Il rapporto robots.txt di Search Console mostra la versione che Google ha recuperato per ultima.

Fonti

Strumenti correlati

Il Report SEO ($69, una tantum) parte dalla scansione gratuita completa e aggiunge altre pagine, la modifica da fare per ogni problema rilevato, un PDF e nuovi test per verificare le tue correzioni.

Informazioni sul Report SEO