Alat SEO percuma

Semak Fail robots.txt

Kami mengambil robots.txt anda dan membacanya seperti perangkak (crawler), mengikut RFC 9309. Lihat sama ada Googlebot boleh merangkak halaman yang anda masukkan, sama ada keseluruhan laman disekat, perangkak AI mana yang dibenarkan oleh peraturan anda, dan peta laman mana yang disenaraikan dalam fail itu.

Percuma. Menyemak alamat yang anda masukkan dalam kira-kira 20 saat.

Apa yang disemak oleh alat ini

  • Fail dan statusnya

    Kami meminta /robots.txt daripada origin alamat yang anda masukkan (skema, hos dan port yang sama) dan menunjukkan status HTTP serta fail itu seperti yang disajikan.

  • Kumpulan dipadankan seperti perangkak

    Peraturan dikumpulkan mengikut User-agent. Perangkak mengikuti kumpulan yang menamakannya dan hanya menggunakan kumpulan * apabila tiada kumpulan yang menamakannya; ia tidak mencampurkan kedua-duanya.

  • Padanan terpanjang menang

    Dalam satu kumpulan, peraturan Allow atau Disallow dengan laluan padanan terpanjang yang menentukan, dan Allow menang jika seri. * sepadan dengan sebarang rentetan aksara dan $ menandakan penghujung URL.

  • Halaman anda dan Googlebot

    Sama ada Googlebot boleh merangkak URL tepat yang anda masukkan di bawah peraturan yang terpakai kepadanya.

  • Sekatan seluruh laman

    Sama ada setiap perangkak diarahkan supaya menjauhi keseluruhan laman.

  • Perangkak AI

    Sama ada peraturan anda menyekat atau membenarkan GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider dan Meta-ExternalAgent.

  • Baris Sitemap

    Setiap baris Sitemap: dalam fail, supaya anda dapat mengesahkan perangkak dihalakan ke peta laman yang betul.

Apa yang tidak dapat disemaknya

  • Menguatkuasakan apa-apa. robots.txt ialah permintaan yang dipatuhi oleh perangkak yang berkelakuan baik dan diabaikan oleh yang lain. Untuk memastikan kandungan kekal peribadi, letakkannya di sebalik log masuk.
  • Memberitahu anda sama ada halaman telah diindeks. URL yang disekat masih boleh muncul dalam carian jika halaman lain memaut kepadanya.
  • Menunjukkan perangkak mana yang benar-benar melawat laman anda atau berapa kerap. Log pelayan anda mempunyai maklumat itu.
  • Membaca fail pada hos lain, seperti subdomain atau CDN. Setiap hos mempunyai robots.txt sendiri.
  • Meliputi setiap perangkak. Senarai ini merangkumi perangkak AI yang digunakan secara meluas, dan token ejen pengguna baharu muncul dari semasa ke semasa.

Mengapa ia penting

Fail robots.txt ialah fail pertama yang diminta oleh kebanyakan perangkak, dan satu baris boleh mengubah cara keseluruhan laman dirangkak. “Disallow: /” di bawah “User-agent: *”, yang tertinggal sejak fasa pembangunan, menghalang enjin carian daripada merangkak apa-apa. Peraturan yang dimaksudkan untuk satu folder, seperti “Disallow: /p”, turut menyekat /products dan /pricing, kerana peraturan dipadankan dengan permulaan laluan.

Fail ini kini melakukan tugas kedua: memberitahu syarikat AI kandungan mana yang boleh mereka kumpulkan. Token berbeza mengikut tujuan. OpenAI mendokumenkan GPTBot untuk mengumpul data latihan dan OAI-SearchBot untuk mencari halaman yang dipaparkan dalam carian ChatGPT. Google-Extended mengawal sama ada Google boleh menggunakan kandungan anda untuk model Gemini, tanpa mengubah cara Google Search merangkak. Menyekat satu token tidak menyekat token lain, jadi semak setiap token berdasarkan niat anda.

Kod status sama penting dengan kandungannya. Fail yang tiada (404) tidak membahayakan: perangkak menganggapnya sebagai kebenaran untuk merangkak semuanya. Ralat pelayan pula berbeza. Dokumentasi Google menyatakan bahawa apabila robots.txt mengembalikan ralat 5xx, Google berhenti merangkak laman itu selama 12 jam pertama, kemudian menggunakan salinan terakhir yang dapat dibacanya sehingga 30 hari.

Cara membaca keputusan

HTTP 200
Fail ditemui, dan peraturan yang dipaparkan ialah peraturan yang digunakan oleh perangkak.
HTTP 404 atau 4xx lain
Tiada robots.txt, jadi perangkak boleh merangkak semuanya. Itu tidak mengapa bagi banyak laman, asalkan tiada apa-apa yang perlu dihalang.
HTTP 5xx
Pelayan gagal mengembalikan fail. Google menghentikan rangkakan selagi keadaan ini berterusan, jadi baiki ralat pelayan dahulu.
Googlebot: dibenarkan atau disekat (allowed or blocked)
Sama ada Googlebot boleh mengambil URL yang anda masukkan, di bawah kumpulannya sendiri jika fail mempunyainya, jika tidak di bawah kumpulan *.
Seluruh laman disekat
Setiap perangkak diarahkan supaya tidak merangkak sebarang laluan. Dijangka pada laman staging; hampir selalu satu kesilapan pada laman yang sudah beroperasi.
Perangkak AI: disekat atau dibenarkan (blocked or allowed)
Apa yang dinyatakan oleh peraturan anda bagi setiap token. Dibenarkan termasuk keadaan apabila tiada peraturan langsung untuk perangkak itu.
Peta laman yang disenaraikan
URL peta laman daripada fail itu. Setiap satu sepatutnya URL penuh yang mengembalikan peta laman XML yang berfungsi.

Cara membaiki masalah yang paling biasa

  • Seluruh laman disekat

    Buang “Disallow: /” daripada kumpulan “User-agent: *”, atau biarkan baris Disallow kosong untuk membenarkan semuanya. Jika platform anda menjana fail itu, semak tetapan keterlihatan carian dan sebarang templat robots.txt; pada Shopify, itu ialah robots.txt.liquid dalam kod tema.

  • Peraturan menyekat lebih daripada yang dimaksudkan

    Peraturan dipadankan dengan permulaan laluan. Akhiri peraturan folder dengan garis miring (Disallow: /private/) dan gunakan $ untuk memadankan penghujung yang tepat (Disallow: /*.pdf$). Kemudian semak semula URL yang penting bagi anda.

  • Googlebot mengabaikan peraturan * anda

    Apabila fail mempunyai kumpulan “User-agent: Googlebot”, Googlebot hanya mengikuti kumpulan itu. Salin setiap peraturan yang anda mahu Googlebot patuhi ke dalam kumpulannya sendiri.

  • Menarik diri daripada latihan AI sambil kekal dalam carian

    Tambah kumpulan bagi setiap perangkak latihan, contohnya “User-agent: GPTBot” diikuti dengan “Disallow: /”, dan lakukan perkara yang sama untuk ClaudeBot, CCBot, Google-Extended dan Applebot-Extended. Jangan ubah Googlebot dan Bingbot. Putuskan secara berasingan tentang OAI-SearchBot, Claude-SearchBot dan PerplexityBot, yang membantu halaman anda muncul dalam jawapan carian perkhidmatan tersebut.

  • Menggunakan robots.txt untuk membuang halaman daripada Google

    Disallow menghentikan rangkakan, bukan pengindeksan. Untuk mengecualikan halaman daripada carian, benarkan rangkakan dan tambah <meta name="robots" content="noindex">, atau kembalikan 404 atau 410 jika halaman sudah tiada. Alat Removals dalam Search Console menyembunyikan URL buat sementara waktu dalam kes mendesak.

Soalan tentang alat ini

Adakah robots.txt menghalang syarikat AI daripada menggunakan kandungan saya?

Hanya bagi perangkak yang memilih untuk mematuhinya, dan hanya mulai rangkakan seterusnya. Ia tidak membuang kandungan yang telah dikumpul sebelum anda menambah peraturan itu.

Adakah menyekat Google-Extended akan membuang laman saya daripada Google Search?

Tidak. Google menyatakan bahawa Google-Extended tidak menjejaskan kemasukan atau kedudukan dalam Google Search. Ia hanya mengawal sama ada Google boleh menggunakan kandungan anda untuk model Gemini; Googlebot terus merangkak seperti biasa.

Adakah ketiadaan robots.txt satu masalah?

Tidak. Jika /robots.txt mengembalikan 404, perangkak menganggap mereka boleh merangkak semuanya. Tambah fail ini apabila anda perlu menghalang perangkak daripada kawasan seperti hasil carian dalaman, atau untuk menghalakan mereka ke peta laman anda.

Bolehkah saya menyembunyikan halaman peribadi dengan robots.txt?

Tidak. Fail itu terbuka kepada umum, jadi menyenaraikan laluan peribadi di dalamnya sebenarnya menghebahkan laluan tersebut. Lindungi halaman peribadi dengan log masuk, dan gunakan noindex untuk halaman awam yang tidak patut muncul dalam carian.

Berapa cepat Google mengesan perubahan?

Google lazimnya menyimpan robots.txt dalam cache sehingga 24 jam, jadi perubahan boleh mengambil masa kira-kira sehari untuk berkuat kuasa. Laporan robots.txt dalam Search Console menunjukkan versi yang terakhir diambil oleh Google.

Sumber

Alat berkaitan

Laporan Pembaikan SEO ($69, sekali bayar) bermula daripada imbasan percuma penuh dan menambah lebih banyak halaman, perubahan yang perlu dibuat bagi setiap penemuan, PDF dan ujian semula untuk mengesahkan pembaikan anda.

Tentang Laporan Pembaikan SEO