Kostenloses Tool: SEO

robots.txt prüfen

Wir rufen Ihre robots.txt ab und lesen sie so, wie Crawler es tun, nach RFC 9309. Sehen Sie, ob Googlebot die eingegebene Seite crawlen darf, ob die gesamte Website gesperrt ist, welche KI-Crawler Ihre Regeln zulassen und welche Sitemaps die Datei nennt.

Kostenlos. Prüft die eingegebene Adresse in etwa 20 Sekunden.

Was dieses Tool prüft

  • Die Datei und ihr Status

    Wir fordern /robots.txt vom Ursprung (Origin) der eingegebenen Adresse an (gleiches Schema, gleicher Host und Port) und zeigen den HTTP-Status und die Datei so, wie sie ausgeliefert wird.

  • Gruppen, zugeordnet wie von einem Crawler

    Die Regeln werden nach User-agent gruppiert. Ein Crawler folgt der Gruppe, die ihn nennt, und nutzt die *-Gruppe nur, wenn keine Gruppe ihn nennt; er mischt die beiden nicht.

  • Die längste Übereinstimmung gewinnt

    Innerhalb einer Gruppe entscheidet die Allow- oder Disallow-Regel mit dem längsten passenden Pfad, und bei Gleichstand gewinnt Allow. * steht für eine beliebige Zeichenfolge, und $ markiert das Ende der URL.

  • Ihre Seite und Googlebot

    Ob Googlebot die exakte eingegebene URL nach den für ihn geltenden Regeln crawlen darf.

  • Sperren der gesamten Website

    Ob alle Crawler angewiesen werden, der gesamten Website fernzubleiben.

  • KI-Crawler

    Ob Ihre Regeln GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider und Meta-ExternalAgent sperren oder zulassen.

  • Sitemap-Zeilen

    Jede Sitemap:-Zeile in der Datei, damit Sie bestätigen können, dass Crawler auf die richtige Sitemap verwiesen werden.

Was es nicht prüfen kann

  • Etwas durchsetzen. robots.txt ist eine Bitte, der sich gut programmierte Crawler fügen und die andere ignorieren. Um Inhalte privat zu halten, schützen Sie sie mit einem Login.
  • Ihnen sagen, ob eine Seite indexiert ist. Eine gesperrte URL kann trotzdem in der Suche erscheinen, wenn andere Seiten auf sie verlinken.
  • Zeigen, welche Crawler Ihre Website tatsächlich besuchen oder wie oft. Das steht in Ihren Server-Logs.
  • Die Dateien auf anderen Hosts lesen, etwa auf einer Subdomain oder einem CDN. Jeder Host hat seine eigene robots.txt.
  • Jeden Crawler abdecken. Die Liste enthält weit verbreitete KI-Crawler, und neue User-Agent-Tokens kommen regelmäßig hinzu.

Warum das wichtig ist

robots.txt ist die erste Datei, die die meisten Crawler anfordern, und eine einzige Zeile kann ändern, wie eine gesamte Website gecrawlt wird. „Disallow: /“ unter „User-agent: *“, aus der Entwicklung übrig geblieben, hindert Suchmaschinen daran, überhaupt etwas zu crawlen. Eine Regel, die für einen Ordner gedacht ist, etwa „Disallow: /p“, sperrt auch /products und /pricing, weil Regeln mit dem Anfang des Pfads abgeglichen werden.

Die Datei erfüllt inzwischen eine zweite Aufgabe: Sie teilt KI-Unternehmen mit, welche Inhalte sie sammeln dürfen. Die Tokens unterscheiden sich je nach Zweck. OpenAI dokumentiert GPTBot für das Sammeln von Trainingsdaten und OAI-SearchBot für das Finden von Seiten, die in der ChatGPT-Suche angezeigt werden. Google-Extended steuert, ob Google Ihre Inhalte für seine Gemini-Modelle nutzen darf, ohne zu ändern, wie die Google-Suche crawlt. Das Sperren eines Tokens sperrt die anderen nicht, prüfen Sie daher jedes einzeln gegen Ihre Absicht.

Der Statuscode ist genauso wichtig wie der Inhalt. Eine fehlende Datei (404) ist harmlos: Crawler verstehen sie als Erlaubnis, alles zu crawlen. Ein Serverfehler ist etwas anderes. Laut der Dokumentation von Google stellt Google das Crawling der Website in den ersten 12 Stunden ein, wenn robots.txt einen 5xx-Fehler zurückgibt, und verwendet danach bis zu 30 Tage lang die letzte Version, die es lesen konnte.

So lesen Sie die Ergebnisse

HTTP 200
Die Datei wurde gefunden, und die angezeigten Regeln sind die, die Crawler anwenden.
HTTP 404 oder ein anderer 4xx-Code
Es gibt keine robots.txt, Crawler dürfen also alles crawlen. Für viele Websites ist das in Ordnung, solange nichts ausgeschlossen werden muss.
HTTP 5xx
Der Server konnte die Datei nicht ausliefern. Google pausiert das Crawling, solange das anhält; beheben Sie daher zuerst den Serverfehler.
Googlebot: erlaubt oder gesperrt (allowed or blocked)
Ob Googlebot die eingegebene URL abrufen darf, nach seiner eigenen Gruppe, falls die Datei eine hat, andernfalls nach der *-Gruppe.
Gesamte Website gesperrt
Alle Crawler werden angewiesen, keinen Pfad zu crawlen. Auf einer Staging-Website zu erwarten; auf einer Live-Website fast immer ein Fehler.
KI-Crawler: gesperrt oder erlaubt (blocked or allowed)
Was Ihre Regeln für jedes Token besagen. „Erlaubt“ schließt den Fall ein, dass es für diesen Crawler überhaupt keine Regel gibt.
Aufgeführte Sitemaps
Die Sitemap-URLs aus der Datei. Jede sollte eine vollständige URL sein, die eine funktionierende XML-Sitemap liefert.

So beheben Sie die häufigsten Probleme

  • Die gesamte Website ist gesperrt

    Entfernen Sie „Disallow: /“ aus der Gruppe „User-agent: *“, oder lassen Sie die Disallow-Zeile leer, um alles zu erlauben. Erzeugt Ihre Plattform die Datei, prüfen Sie deren Einstellungen zur Sichtbarkeit in Suchmaschinen und eine etwaige robots.txt-Vorlage; bei Shopify ist das robots.txt.liquid im Theme-Code.

  • Eine Regel sperrt mehr als beabsichtigt

    Regeln werden mit dem Anfang eines Pfads abgeglichen. Beenden Sie Ordnerregeln mit einem Schrägstrich (Disallow: /private/) und verwenden Sie $, um ein exaktes Ende abzugleichen (Disallow: /*.pdf$). Prüfen Sie danach die URLs, die Ihnen wichtig sind, erneut.

  • Googlebot ignoriert Ihre *-Regeln

    Enthält die Datei eine Gruppe „User-agent: Googlebot“, folgt Googlebot nur dieser Gruppe. Kopieren Sie jede Regel, die für Googlebot weiter gelten soll, in seine eigene Gruppe.

  • KI-Training ausschließen und trotzdem in der Suche bleiben

    Legen Sie für jeden Trainings-Crawler eine Gruppe an, zum Beispiel „User-agent: GPTBot“ gefolgt von „Disallow: /“, und verfahren Sie ebenso mit ClaudeBot, CCBot, Google-Extended und Applebot-Extended. Lassen Sie Googlebot und Bingbot unverändert. Entscheiden Sie gesondert über OAI-SearchBot, Claude-SearchBot und PerplexityBot, die dazu beitragen, dass Ihre Seiten in den Suchantworten dieser Dienste erscheinen.

  • Seiten per robots.txt aus Google entfernen

    Disallow verhindert das Crawling, nicht die Indexierung. Um eine Seite aus der Suche herauszuhalten, erlauben Sie das Crawling und ergänzen <meta name="robots" content="noindex">, oder geben Sie 404 oder 410 zurück, wenn die Seite nicht mehr existiert. Das Tool „Entfernen“ in der Search Console blendet eine URL in dringenden Fällen vorübergehend aus.

Fragen zu diesem Tool

Hindert robots.txt KI-Unternehmen daran, meine Inhalte zu nutzen?

Nur bei Crawlern, die sich dafür entscheiden, sie zu befolgen, und erst ab dem nächsten Crawling. Inhalte, die gesammelt wurden, bevor Sie die Regel hinzugefügt haben, werden dadurch nicht entfernt.

Entfernt das Sperren von Google-Extended meine Website aus der Google-Suche?

Nein. Laut Google hat Google-Extended keinen Einfluss auf die Aufnahme oder das Ranking in der Google-Suche. Es steuert nur, ob Google Ihre Inhalte für seine Gemini-Modelle nutzen darf; Googlebot crawlt weiter wie bisher.

Ist eine fehlende robots.txt ein Problem?

Nein. Gibt /robots.txt 404 zurück, gehen Crawler davon aus, dass sie alles crawlen dürfen. Legen Sie eine an, wenn Sie Crawler aus Bereichen wie internen Suchergebnissen heraushalten oder sie auf Ihre Sitemap verweisen möchten.

Kann ich private Seiten mit robots.txt verbergen?

Nein. Die Datei ist öffentlich, wer private Pfade darin auflistet, macht also erst auf sie aufmerksam. Schützen Sie private Seiten mit einem Login und verwenden Sie noindex für öffentliche Seiten, die nicht in der Suche erscheinen sollen.

Wie schnell bemerkt Google eine Änderung?

Google speichert robots.txt in der Regel bis zu 24 Stunden im Cache, daher kann es etwa einen Tag dauern, bis eine Änderung greift. Der robots.txt-Bericht in der Search Console zeigt die Version, die Google zuletzt abgerufen hat.

Quellen

Verwandte Tools

Der SEO-Report ($69, einmalig) baut auf dem vollständigen kostenlosen Scan auf und ergänzt weitere Seiten, die nötige Änderung für jeden Befund, ein PDF und Nachtests, mit denen Sie Ihre Korrekturen überprüfen.

Mehr zum SEO-Report