Libreng tool para sa SEO

Libreng Robots.txt Checker

Kinukuha namin ang iyong robots.txt at binabasa ito gaya ng ginagawa ng mga crawler, ayon sa RFC 9309. Makita kung puwedeng i-crawl ng Googlebot ang page na inilagay mo, kung naka-block ang buong site, aling mga AI crawler ang pinapayagan ng iyong mga patakaran, at aling mga sitemap ang nakalista sa file.

Libre. Sinusuri ang address na inilagay mo sa loob ng mga 20 segundo.

Ano ang sinusuri ng tool na ito

  • Ang file at ang status nito

    Hinihingi namin ang /robots.txt mula sa origin ng address na inilagay mo (parehong scheme, host at port) at ipinapakita ang HTTP status at ang file gaya ng pagkaka-serve nito.

  • Mga grupong itinutugma gaya ng crawler

    Naka-grupo ang mga patakaran ayon sa User-agent. Sinusunod ng isang crawler ang grupong bumabanggit sa pangalan nito at ginagamit lang ang * na grupo kapag walang grupong bumabanggit dito; hindi nito pinaghahalo ang dalawa.

  • Ang pinakamahabang tugma ang panalo

    Sa loob ng isang grupo, ang patakarang Allow o Disallow na may pinakamahabang tumutugmang path ang nagpapasya, at panalo ang Allow kapag tabla. Tumutugma ang * sa anumang sunod-sunod na character at minamarkahan ng $ ang dulo ng URL.

  • Ang iyong page at ang Googlebot

    Kung puwedeng i-crawl ng Googlebot ang eksaktong URL na inilagay mo sa ilalim ng mga patakarang naaangkop dito.

  • Pag-block sa buong site

    Kung sinasabihan ang bawat crawler na lumayo sa buong site.

  • Mga AI crawler

    Kung bina-block o pinapayagan ng iyong mga patakaran ang GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider at Meta-ExternalAgent.

  • Mga Sitemap line

    Bawat Sitemap: line sa file, para makumpirma mong nakaturo ang mga crawler sa tamang sitemap.

Ano ang hindi nito kayang suriin

  • Magpatupad ng anuman. Ang robots.txt ay isang kahilingan na sinusunod ng maaayos na crawler at binabalewala ng iba. Para manatiling pribado ang content, ilagay ito sa likod ng login.
  • Sabihin sa iyo kung naka-index ang isang page. Maaari pa ring lumabas sa search ang naka-block na URL kung may ibang page na nagli-link dito.
  • Ipakita kung aling mga crawler ang talagang bumibisita sa iyong site o gaano kadalas. Nasa server logs mo ang impormasyong iyon.
  • Basahin ang mga file sa ibang host, gaya ng subdomain o CDN. May sariling robots.txt ang bawat host.
  • Saklawin ang bawat crawler. Kasama sa listahan ang malawakang ginagamit na mga AI crawler, at regular na may lumalabas na bagong user-agent token.

Bakit ito mahalaga

Ang robots.txt ang unang file na hinihingi ng karamihan ng crawler, at kayang baguhin ng isang linya kung paano kina-crawl ang buong site. Ang “Disallow: /” sa ilalim ng “User-agent: *”, na naiwan mula sa development, ay pumipigil sa mga search engine na mag-crawl ng kahit ano. Ang patakarang para sana sa isang folder, gaya ng “Disallow: /p”, ay humaharang din sa /products at /pricing, dahil tumutugma ang mga patakaran sa simula ng path.

May pangalawang trabaho na ngayon ang file: sabihin sa mga AI company kung aling content ang puwede nilang kolektahin. Magkakaiba ang mga token ayon sa layunin. Dinodokumento ng OpenAI ang GPTBot para sa pagkolekta ng training data at ang OAI-SearchBot para sa paghahanap ng mga page na ipapakita sa ChatGPT search. Kinokontrol ng Google-Extended kung puwedeng gamitin ng Google ang iyong content para sa mga Gemini model nito, nang hindi binabago kung paano nagki-crawl ang Google Search. Hindi nahaharang ang iba kapag hinarang mo ang isang token, kaya i-check ang bawat isa laban sa gusto mong mangyari.

Kasinghalaga ng content ang status code. Hindi nakakasama ang nawawalang file (404): itinuturing ito ng mga crawler na pahintulot na i-crawl ang lahat. Iba ang server error. Ayon sa dokumentasyon ng Google, kapag nagbalik ng 5xx error ang robots.txt, ititigil nito ang pag-crawl sa site sa unang 12 oras, at pagkatapos ay gagamitin ang huling kopyang nabasa nito nang hanggang 30 araw.

Paano basahin ang mga resulta

HTTP 200
Nahanap ang file, at ang mga ipinapakitang patakaran ang ipinapatupad ng mga crawler.
HTTP 404 o ibang 4xx
Walang robots.txt, kaya puwedeng i-crawl ng mga crawler ang lahat. Ayos lang ito para sa maraming site, basta’t walang kailangang ilayo sa mga crawler.
HTTP 5xx
Hindi naibalik ng server ang file. Itinitigil muna ng Google ang pag-crawl habang nangyayari ito, kaya unahing ayusin ang server error.
Googlebot: pinapayagan o naka-block (allowed or blocked)
Kung puwedeng kunin ng Googlebot ang URL na inilagay mo, sa ilalim ng sarili nitong grupo kung mayroon nito sa file, at kung wala, sa ilalim ng * na grupo.
Naka-block ang buong site
Sinasabihan ang bawat crawler na huwag i-crawl ang anumang path. Inaasahan ito sa staging site; halos laging pagkakamali ito sa live na site.
AI crawlers: naka-block o pinapayagan (blocked or allowed)
Kung ano ang sinasabi ng iyong mga patakaran para sa bawat token. Kasama sa pinapayagan (allowed) ang kawalan ng anumang patakaran para sa crawler na iyon.
Mga nakalistang sitemap
Ang mga sitemap URL mula sa file. Bawat isa ay dapat buong URL na nagbabalik ng gumaganang XML sitemap.

Paano ayusin ang mga pinakakaraniwang problema

  • Naka-block ang buong site

    Alisin ang “Disallow: /” sa grupong “User-agent: *”, o iwanang walang laman ang Disallow line para payagan ang lahat. Kung platform mo ang gumagawa ng file, i-check ang mga setting nito sa search visibility at anumang robots.txt template; sa Shopify, iyon ang robots.txt.liquid sa theme code.

  • Mas marami ang hinaharang ng patakaran kaysa sa inaasahan

    Tumutugma ang mga patakaran sa simula ng path. Tapusin ng slash ang mga patakaran para sa folder (Disallow: /private/) at gamitin ang $ para tumugma sa eksaktong dulo (Disallow: /*.pdf$). Pagkatapos, i-check muli ang mga URL na mahalaga sa iyo.

  • Hindi sinusunod ng Googlebot ang iyong mga patakaran sa *

    Kapag may grupong “User-agent: Googlebot” ang file, ang grupong iyon lang ang sinusunod ng Googlebot. Kopyahin sa sarili nitong grupo ang bawat patakarang gusto mong sundin pa rin ng Googlebot.

  • Pag-opt out sa AI training habang nananatili sa search

    Magdagdag ng grupo para sa bawat training crawler, halimbawa “User-agent: GPTBot” na sinusundan ng “Disallow: /”, at gawin din ito para sa ClaudeBot, CCBot, Google-Extended at Applebot-Extended. Huwag galawin ang Googlebot at Bingbot. Magpasya nang hiwalay tungkol sa OAI-SearchBot, Claude-SearchBot at PerplexityBot, na tumutulong na lumabas ang iyong mga page sa mga sagot sa search ng mga serbisyong iyon.

  • Paggamit ng robots.txt para alisin ang mga page sa Google

    Pinipigilan ng Disallow ang pag-crawl, hindi ang pag-index. Para mailayo ang isang page sa search, payagan ang pag-crawl at idagdag ang <meta name="robots" content="noindex">, o magbalik ng 404 o 410 kung wala na ang page. Pansamantalang itinatago ng Removals tool ng Search Console ang isang URL para sa mga apurahang kaso.

Mga tanong tungkol sa tool na ito

Napipigilan ba ng robots.txt ang mga AI company na gamitin ang aking content?

Para lang sa mga crawler na piniling sumunod dito, at simula lang sa susunod na pag-crawl nila. Hindi nito inaalis ang content na nakolekta bago mo idinagdag ang patakaran.

Maaalis ba ang site ko sa Google Search kapag hinarang ko ang Google-Extended?

Hindi. Ayon sa Google, hindi naaapektuhan ng Google-Extended ang pagkakasama o ranggo sa Google Search. Kinokontrol lang nito kung puwedeng gamitin ng Google ang iyong content para sa mga Gemini model nito; patuloy na nagki-crawl ang Googlebot gaya ng dati.

Problema ba kung walang robots.txt?

Hindi. Kung nagbabalik ng 404 ang /robots.txt, ipinapalagay ng mga crawler na puwede nilang i-crawl ang lahat. Magdagdag nito kapag kailangan mong ilayo ang mga crawler sa mga bahagi gaya ng internal search results, o para ituro sila sa iyong sitemap.

Puwede ko bang itago ang mga pribadong page gamit ang robots.txt?

Hindi. Pampubliko ang file, kaya ang paglilista ng mga pribadong path dito ay parang pag-aanunsyo sa mga ito. Protektahan ang mga pribadong page gamit ang login, at gumamit ng noindex para sa mga pampublikong page na dapat manatiling wala sa search.

Gaano kabilis napapansin ng Google ang isang pagbabago?

Karaniwang kina-cache ng Google ang robots.txt nang hanggang 24 oras, kaya maaaring umabot nang mga isang araw bago umepekto ang pagbabago. Ipinapakita ng robots.txt report sa Search Console ang bersyong huling kinuha ng Google.

Mga sanggunian

Mga kaugnay na tool

Nagsisimula ang Ulat sa SEO ($69, isahang bayad) sa buong libreng scan at nagdadagdag ng mas maraming page, ng pagbabagong gagawin para sa bawat natuklasan, ng PDF at ng mga re-test para matiyak ang mga inayos mo.

Tungkol sa Ulat sa SEO