Ücretsiz SEO aracı

Robots.txt Kontrol Aracı

robots.txt dosyanızı alır ve RFC 9309’u izleyerek botların okuduğu şekilde okuruz. Googlebot’un girdiğiniz sayfayı tarayıp tarayamayacağını, sitenin tamamının engellenip engellenmediğini, kurallarınızın hangi yapay zekâ botlarına izin verdiğini ve dosyanın hangi site haritalarını listelediğini görün.

Ücretsiz. Girdiğiniz adresi yaklaşık 20 saniyede kontrol eder.

Bu araç neleri kontrol eder

  • Dosya ve durumu

    Girdiğiniz adresin kaynağından (origin: aynı protokol, ana makine ve port) /robots.txt dosyasını ister, HTTP durum kodunu ve dosyayı sunulduğu haliyle gösteririz.

  • Gruplar bir bot gibi eşleştirilir

    Kurallar User-agent’a göre gruplanır. Bir bot kendi adının geçtiği grubu izler ve * grubunu yalnızca hiçbir grup onu adıyla belirtmediğinde kullanır; ikisini karıştırmaz.

  • En uzun eşleşme kazanır

    Bir grup içinde, eşleşen yolu en uzun olan Allow veya Disallow kuralı belirleyicidir; eşitlik durumunda Allow kazanır. * herhangi bir karakter dizisiyle eşleşir, $ ise URL’nin sonunu belirtir.

  • Sayfanız ve Googlebot

    Googlebot’un, kendisine uygulanan kurallar altında girdiğiniz URL’yi birebir tarayıp tarayamayacağı.

  • Sitenin tamamını engelleyen kurallar

    Tüm botlara sitenin tamamından uzak durmalarının söylenip söylenmediği.

  • Yapay zekâ botları

    Kurallarınızın GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider ve Meta-ExternalAgent’ı engelleyip engellemediği ya da bunlara izin verip vermediği.

  • Sitemap satırları

    Dosyadaki her Sitemap: satırı; böylece botların doğru site haritasına yönlendirildiğini doğrulayabilirsiniz.

Neleri kontrol edemez

  • Hiçbir şeyi zorla uygulatamaz. robots.txt, kurallara uyan botların izlediği, diğerlerinin ise yok saydığı bir istektir. İçeriği gizli tutmak için onu bir girişin arkasına koyun.
  • Bir sayfanın dizine eklenip eklenmediğini söyleyemez. Engellenmiş bir URL, başka sayfalar ona bağlantı veriyorsa aramada yine de görünebilir.
  • Sitenizi gerçekte hangi botların ne sıklıkla ziyaret ettiğini gösteremez. Bu bilgi sunucu günlüklerinizde (log) bulunur.
  • Bir alt alan adı veya CDN gibi başka ana makinelerdeki dosyaları okuyamaz. Her ana makinenin kendi robots.txt dosyası vardır.
  • Her botu kapsayamaz. Liste yaygın olarak kullanılan yapay zekâ botlarını içerir ve düzenli olarak yeni user-agent adları ortaya çıkar.

Neden önemli

robots.txt, çoğu botun istediği ilk dosyadır ve tek bir satır, sitenin tamamının nasıl tarandığını değiştirebilir. Geliştirme aşamasından kalmış, “User-agent: *” altındaki bir “Disallow: /” satırı arama motorlarının hiçbir şeyi taramamasına yol açar. Tek bir klasör için düşünülmüş “Disallow: /p” gibi bir kural, /products ve /pricing yollarını da engeller; çünkü kurallar yolun başlangıcıyla eşleşir.

Dosya artık ikinci bir iş de görüyor: yapay zekâ şirketlerine hangi içeriği toplayabileceklerini söylemek. Bot adları amaca göre değişir. OpenAI, eğitim verisi toplamak için GPTBot’u, ChatGPT aramasında gösterilecek sayfaları bulmak için de OAI-SearchBot’u belgeler. Google-Extended, Google Arama’nın taramasını değiştirmeden Google’ın içeriğinizi Gemini modelleri için kullanıp kullanamayacağını belirler. Bir adı engellemek diğerlerini engellemez; bu yüzden her birini niyetinize göre kontrol edin.

Durum kodu, içerik kadar önemlidir. Eksik bir dosya (404) zararsızdır: botlar bunu her şeyi tarama izni olarak kabul eder. Sunucu hatası ise farklıdır. Google’ın belgelerine göre robots.txt 5xx hatası döndürdüğünde Google ilk 12 saat boyunca siteyi taramayı durdurur, ardından 30 güne kadar okuyabildiği son kopyayı kullanır.

Sonuçlar nasıl okunur

HTTP 200
Dosya bulundu ve gösterilen kurallar, botların uyguladığı kurallardır.
HTTP 404 veya başka bir 4xx
robots.txt dosyası yok; bu yüzden botlar her şeyi tarayabilir. Dışarıda tutulması gereken bir şey olmadığı sürece bu, birçok site için sorun değildir.
HTTP 5xx
Sunucu dosyayı döndüremedi. Bu durum sürdükçe Google taramayı duraklatır; bu yüzden önce sunucu hatasını düzeltin.
Googlebot: izin var veya engelli
Googlebot’un girdiğiniz URL’yi, dosyada kendi grubu varsa o grubun, yoksa * grubunun kuralları altında alıp alamayacağı.
Sitenin tamamı engelli
Tüm botlara hiçbir yolu taramamaları söyleniyor. Staging sitesinde beklenen bir durumdur; yayındaki bir sitede ise neredeyse her zaman bir hatadır.
Yapay zekâ botları: engelli veya izin var
Kurallarınızın her bot adı için ne söylediği. “İzin var” durumu, o bot için hiç kural bulunmamasını da kapsar.
Listelenen site haritaları
Dosyadaki site haritası URL’leri. Her biri, çalışan bir XML site haritası döndüren tam bir URL olmalıdır.

En yaygın sorunlar nasıl düzeltilir

  • Sitenin tamamı engelli

    “User-agent: *” grubundan “Disallow: /” satırını kaldırın ya da her şeye izin vermek için Disallow satırını boş bırakın. Dosyayı platformunuz oluşturuyorsa arama görünürlüğü ayarlarını ve varsa robots.txt şablonunu kontrol edin; Shopify’da bu, tema kodundaki robots.txt.liquid dosyasıdır.

  • Bir kural amaçlanandan fazlasını engelliyor

    Kurallar yolun başlangıcıyla eşleşir. Klasör kurallarını eğik çizgiyle bitirin (Disallow: /private/) ve birebir bir bitişle eşleşmek için $ kullanın (Disallow: /*.pdf$). Ardından sizin için önemli URL’leri yeniden kontrol edin.

  • Googlebot * kurallarınızı yok sayıyor

    Dosyada bir “User-agent: Googlebot” grubu varsa Googlebot yalnızca o grubu izler. Googlebot’un da uymasını istediğiniz her kuralı onun grubuna kopyalayın.

  • Aramada kalırken yapay zekâ eğitiminden çıkmak

    Her eğitim botu için bir grup ekleyin; örneğin “User-agent: GPTBot” ve ardından “Disallow: /”. Aynısını ClaudeBot, CCBot, Google-Extended ve Applebot-Extended için de yapın. Googlebot ve Bingbot’a dokunmayın. Sayfalarınızın bu hizmetlerin arama yanıtlarında görünmesine yardımcı olan OAI-SearchBot, Claude-SearchBot ve PerplexityBot için ayrıca karar verin.

  • Sayfaları Google’dan kaldırmak için robots.txt kullanmak

    Disallow dizine eklemeyi değil, taramayı durdurur. Bir sayfayı aramanın dışında tutmak için taramaya izin verin ve <meta name="robots" content="noindex"> ekleyin ya da sayfa artık yoksa 404 veya 410 döndürün. Acil durumlarda Search Console’daki Kaldırma İşlemleri aracı bir URL’yi geçici olarak gizler.

Bu araçla ilgili sorular

robots.txt yapay zekâ şirketlerinin içeriğimi kullanmasını engeller mi?

Yalnızca ona uymayı seçen botlar için ve yalnızca bir sonraki taramalarından itibaren. Kuralı eklemeden önce toplanmış içeriği kaldırmaz.

Google-Extended’ı engellemek sitemi Google Arama’dan kaldırır mı?

Hayır. Google’a göre Google-Extended, Google Arama’ya dahil edilmeyi veya sıralamayı etkilemez. Yalnızca Google’ın içeriğinizi Gemini modelleri için kullanıp kullanamayacağını belirler; Googlebot eskisi gibi taramaya devam eder.

robots.txt dosyasının olmaması sorun mu?

Hayır. /robots.txt 404 döndürürse botlar her şeyi tarayabileceklerini varsayar. Botları site içi arama sonuçları gibi alanların dışında tutmanız ya da onları site haritanıza yönlendirmeniz gerektiğinde bir dosya ekleyin.

Gizli sayfaları robots.txt ile saklayabilir miyim?

Hayır. Dosya herkese açıktır; gizli yolları içinde listelemek onları herkese duyurmak demektir. Gizli sayfaları bir girişle koruyun, aramanın dışında kalması gereken herkese açık sayfalar için ise noindex kullanın.

Google bir değişikliği ne kadar sürede fark eder?

Google robots.txt dosyasını genellikle 24 saate kadar önbellekte tutar; bu yüzden bir değişikliğin uygulanması yaklaşık bir gün sürebilir. Search Console’daki robots.txt raporu, Google’ın en son aldığı sürümü gösterir.

Kaynaklar

İlgili araçlar

SEO Düzeltme Raporu ($69, tek seferlik) ücretsiz taramanın tamamından yola çıkar ve buna daha fazla sayfa, her bulgu için yapılacak değişiklik, bir PDF ve düzeltmelerinizi doğrulamak için yeniden testler ekler.

SEO Düzeltme Raporu hakkında