Alat SEO gratis

Cek robots.txt Website Anda

Kami mengambil robots.txt Anda dan membacanya seperti crawler membacanya, sesuai RFC 9309. Lihat apakah Googlebot boleh meng-crawl halaman yang Anda masukkan, apakah seluruh website diblokir, crawler AI mana yang diizinkan aturan Anda, dan sitemap mana yang dicantumkan di file tersebut.

Gratis. Mengecek alamat yang Anda masukkan dalam sekitar 20 detik.

Yang dicek alat ini

  • File dan statusnya

    Kami meminta /robots.txt dari origin alamat yang Anda masukkan (skema, host, dan port yang sama), lalu menampilkan status HTTP dan isi file sebagaimana disajikan.

  • Grup dicocokkan seperti crawler

    Aturan dikelompokkan berdasarkan User-agent. Crawler mengikuti grup yang menyebut namanya dan hanya memakai grup * jika tidak ada grup yang menyebut namanya; crawler tidak mencampur keduanya.

  • Kecocokan terpanjang yang menang

    Dalam satu grup, aturan Allow atau Disallow dengan path cocok yang terpanjang yang menentukan, dan Allow menang jika seri. * cocok dengan rangkaian karakter apa pun dan $ menandai akhir URL.

  • Halaman Anda dan Googlebot

    Apakah Googlebot boleh meng-crawl URL persis yang Anda masukkan menurut aturan yang berlaku untuknya.

  • Pemblokiran seluruh website

    Apakah semua crawler diminta menjauhi seluruh website.

  • Crawler AI

    Apakah aturan Anda memblokir atau mengizinkan GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, dan Meta-ExternalAgent.

  • Baris Sitemap

    Setiap baris Sitemap: di file, sehingga Anda bisa memastikan crawler diarahkan ke sitemap yang benar.

Yang tidak dapat dicek

  • Memaksakan apa pun. robots.txt adalah permintaan yang dipatuhi crawler yang berperilaku baik dan diabaikan crawler lain. Untuk menjaga konten tetap privat, letakkan di balik login.
  • Memberi tahu apakah sebuah halaman sudah diindeks. URL yang diblokir tetap bisa muncul di pencarian jika halaman lain menautkannya.
  • Menunjukkan crawler mana yang benar-benar mengunjungi website Anda atau seberapa sering. Log server Anda memiliki data itu.
  • Membaca file di host lain, seperti subdomain atau CDN. Setiap host memiliki robots.txt sendiri.
  • Mencakup semua crawler. Daftarnya mencakup crawler AI yang banyak dipakai, dan token user-agent baru terus bermunculan.

Mengapa ini penting

robots.txt adalah file pertama yang diminta sebagian besar crawler, dan satu baris saja bisa mengubah cara seluruh website di-crawl. “Disallow: /” di bawah “User-agent: *” yang tertinggal dari masa pengembangan membuat mesin pencari berhenti meng-crawl apa pun. Aturan yang dimaksudkan untuk satu folder, seperti “Disallow: /p”, juga memblokir /products dan /pricing, karena aturan dicocokkan dengan awal path.

Kini file ini punya tugas kedua: memberi tahu perusahaan AI konten mana yang boleh mereka kumpulkan. Tokennya berbeda menurut tujuan. OpenAI mendokumentasikan GPTBot untuk mengumpulkan data pelatihan dan OAI-SearchBot untuk menemukan halaman yang ditampilkan di pencarian ChatGPT. Google-Extended mengatur apakah Google boleh memakai konten Anda untuk model Gemini, tanpa mengubah cara Google Search meng-crawl. Memblokir satu token tidak memblokir token lainnya, jadi periksa masing-masing terhadap apa yang Anda inginkan.

Kode status sama pentingnya dengan isi file. File yang tidak ada (404) tidak berbahaya: crawler menganggapnya sebagai izin untuk meng-crawl semuanya. Error server lain ceritanya. Dokumentasi Google menyebutkan bahwa jika robots.txt mengembalikan error 5xx, Google berhenti meng-crawl website selama 12 jam pertama, lalu memakai salinan terakhir yang bisa dibacanya hingga 30 hari.

Cara membaca hasilnya

HTTP 200
File ditemukan, dan aturan yang ditampilkan adalah aturan yang diterapkan crawler.
HTTP 404 atau 4xx lainnya
Tidak ada robots.txt, jadi crawler boleh meng-crawl semuanya. Itu tidak masalah bagi banyak website, selama tidak ada yang perlu dijauhkan dari crawler.
HTTP 5xx
Server gagal mengembalikan file. Google menghentikan sementara crawling selama kondisi ini berlangsung, jadi perbaiki error server lebih dulu.
Googlebot: diizinkan atau diblokir (allowed or blocked)
Apakah Googlebot boleh mengambil URL yang Anda masukkan, menurut grupnya sendiri jika file punya grup itu, atau menurut grup * jika tidak.
Seluruh website diblokir
Semua crawler diminta tidak meng-crawl path apa pun. Wajar di website staging; hampir selalu merupakan kesalahan di website live.
Crawler AI: diblokir atau diizinkan (blocked or allowed)
Apa yang dinyatakan aturan Anda untuk setiap token. “Diizinkan” juga mencakup kondisi ketika sama sekali tidak ada aturan untuk crawler tersebut.
Sitemap yang dicantumkan
URL sitemap dari file. Masing-masing sebaiknya berupa URL lengkap yang mengembalikan sitemap XML yang berfungsi.

Cara memperbaiki masalah yang paling umum

  • Seluruh website diblokir

    Hapus “Disallow: /” dari grup “User-agent: *”, atau biarkan baris Disallow kosong untuk mengizinkan semuanya. Jika file dibuat oleh platform Anda, periksa pengaturan visibilitas mesin pencari dan template robots.txt yang ada; di Shopify, itu adalah robots.txt.liquid di kode tema.

  • Aturan memblokir lebih dari yang dimaksud

    Aturan dicocokkan dengan awal path. Akhiri aturan folder dengan garis miring (Disallow: /private/) dan gunakan $ untuk mencocokkan akhiran yang persis (Disallow: /*.pdf$). Lalu periksa kembali URL yang penting bagi Anda.

  • Googlebot mengabaikan aturan * Anda

    Jika file punya grup “User-agent: Googlebot”, Googlebot hanya mengikuti grup itu. Salin setiap aturan yang ingin tetap berlaku bagi Googlebot ke dalam grupnya sendiri.

  • Menolak pelatihan AI tetapi tetap muncul di pencarian

    Tambahkan grup untuk setiap crawler pelatihan, misalnya “User-agent: GPTBot” diikuti “Disallow: /”, dan lakukan hal yang sama untuk ClaudeBot, CCBot, Google-Extended, dan Applebot-Extended. Jangan ubah aturan untuk Googlebot dan Bingbot. Putuskan secara terpisah untuk OAI-SearchBot, Claude-SearchBot, dan PerplexityBot, yang membantu halaman Anda muncul di jawaban pencarian layanan-layanan tersebut.

  • Memakai robots.txt untuk menghapus halaman dari Google

    Disallow menghentikan crawling, bukan pengindeksan. Untuk menjauhkan halaman dari pencarian, izinkan crawling dan tambahkan <meta name="robots" content="noindex">, atau kembalikan 404 atau 410 jika halamannya sudah tidak ada. Tool Penghapusan (Removals) di Search Console menyembunyikan URL untuk sementara dalam kasus mendesak.

Pertanyaan tentang alat ini

Apakah robots.txt menghentikan perusahaan AI memakai konten saya?

Hanya untuk crawler yang memilih mematuhinya, dan hanya mulai saat mereka meng-crawl berikutnya. File ini tidak menghapus konten yang sudah dikumpulkan sebelum Anda menambahkan aturan tersebut.

Apakah memblokir Google-Extended akan menghapus website saya dari Google Search?

Tidak. Google menyatakan bahwa Google-Extended tidak memengaruhi penyertaan maupun peringkat di Google Search. Token ini hanya mengatur apakah Google boleh memakai konten Anda untuk model Gemini; Googlebot tetap meng-crawl seperti biasa.

Apakah robots.txt yang tidak ada menjadi masalah?

Tidak. Jika /robots.txt mengembalikan 404, crawler menganggap mereka boleh meng-crawl semuanya. Tambahkan file ini jika Anda perlu menjauhkan crawler dari area seperti hasil pencarian internal, atau untuk mengarahkan mereka ke sitemap Anda.

Bisakah saya menyembunyikan halaman privat dengan robots.txt?

Tidak. File ini bersifat publik, jadi mencantumkan path privat di dalamnya justru mengiklankannya. Lindungi halaman privat dengan login, dan gunakan noindex untuk halaman publik yang tidak boleh muncul di pencarian.

Seberapa cepat Google mengetahui perubahan robots.txt?

Google umumnya menyimpan robots.txt di cache hingga 24 jam, jadi perubahan bisa butuh sekitar satu hari untuk berlaku. Laporan robots.txt di Search Console menampilkan versi yang terakhir diambil Google.

Sumber

Alat terkait

Laporan Perbaikan SEO ($69, sekali bayar) dimulai dari pemindaian gratis lengkap dan menambahkan lebih banyak halaman, perubahan yang perlu dibuat untuk setiap temuan, PDF, serta uji ulang untuk memverifikasi perbaikan Anda.

Tentang Laporan Perbaikan SEO