무료 SEO 도구

robots.txt 검사기

robots.txt를 가져와 RFC 9309에 따라 크롤러가 읽는 방식 그대로 읽습니다. 입력한 페이지를 Googlebot이 크롤링할 수 있는지, 사이트 전체가 차단되어 있는지, 규칙이 어떤 AI 크롤러를 허용하는지, 파일에 어떤 사이트맵이 나열되어 있는지 확인하십시오.

무료입니다. 입력한 주소를 약 20초 만에 점검합니다.

이 도구가 점검하는 항목

  • 파일과 상태

    입력한 주소의 오리진(같은 스킴, 호스트, 포트)에서 /robots.txt를 요청하고, HTTP 상태와 제공된 그대로의 파일을 보여 드립니다.

  • 크롤러와 같은 방식의 그룹 매칭

    규칙은 User-agent별로 묶입니다. 크롤러는 자신을 지정한 그룹을 따르고, 자신을 지정한 그룹이 없을 때만 * 그룹을 사용합니다. 두 그룹을 섞어 쓰지 않습니다.

  • 가장 긴 일치가 우선

    한 그룹 안에서는 일치하는 경로가 가장 긴 Allow 또는 Disallow 규칙이 결정하며, 길이가 같으면 Allow가 우선합니다. *는 임의의 문자열과 일치하고, $는 URL의 끝을 나타냅니다.

  • 입력한 페이지와 Googlebot

    Googlebot에 적용되는 규칙에 따라, 입력한 정확한 URL을 Googlebot이 크롤링할 수 있는지 확인합니다.

  • 사이트 전체 차단

    모든 크롤러에 사이트 전체에 들어오지 말라고 지시하고 있는지 확인합니다.

  • AI 크롤러

    규칙이 GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent를 차단하는지 허용하는지 확인합니다.

  • Sitemap 줄

    파일에 있는 모든 Sitemap: 줄을 보여 드리므로, 크롤러가 올바른 사이트맵을 안내받고 있는지 확인할 수 있습니다.

점검할 수 없는 항목

  • 아무것도 강제할 수 없습니다. robots.txt는 규칙을 지키는 크롤러는 따르고 그렇지 않은 크롤러는 무시하는 요청일 뿐입니다. 콘텐츠를 비공개로 유지하려면 로그인 뒤에 두십시오.
  • 페이지가 색인되었는지는 알려 드릴 수 없습니다. 차단된 URL도 다른 페이지가 링크하면 검색에 나타날 수 있습니다.
  • 실제로 어떤 크롤러가 얼마나 자주 사이트를 방문하는지는 보여 드릴 수 없습니다. 이 정보는 서버 로그에 있습니다.
  • 하위 도메인이나 CDN 같은 다른 호스트의 파일은 읽을 수 없습니다. 호스트마다 별도의 robots.txt가 있습니다.
  • 모든 크롤러를 다룰 수는 없습니다. 목록에는 널리 쓰이는 AI 크롤러가 포함되어 있으며, 새로운 사용자 에이전트 토큰이 꾸준히 등장합니다.

중요한 이유

robots.txt는 대부분의 크롤러가 가장 먼저 요청하는 파일이며, 한 줄로 사이트 전체의 크롤링 방식이 바뀔 수 있습니다. 개발 단계에서 남은 “User-agent: *” 아래의 “Disallow: /”는 검색 엔진이 아무것도 크롤링하지 못하게 합니다. 한 폴더만 막으려던 “Disallow: /p” 같은 규칙은 /products와 /pricing도 차단합니다. 규칙은 경로의 시작 부분과 일치하기 때문입니다.

이제 이 파일은 두 번째 역할도 합니다. AI 기업에 어떤 콘텐츠를 수집해도 되는지 알리는 일입니다. 토큰은 목적에 따라 다릅니다. OpenAI는 학습 데이터 수집용으로 GPTBot을, ChatGPT 검색에 보여 줄 페이지를 찾는 용도로 OAI-SearchBot을 안내하고 있습니다. Google-Extended는 Google 검색의 크롤링 방식은 바꾸지 않으면서, Google이 Gemini 모델에 콘텐츠를 사용할 수 있는지를 제어합니다. 토큰 하나를 차단해도 다른 토큰은 차단되지 않으므로, 각각이 의도와 맞는지 확인하십시오.

상태 코드도 내용만큼 중요합니다. 파일이 없는 경우(404)는 문제가 없습니다. 크롤러는 이를 모든 것을 크롤링해도 된다는 뜻으로 받아들입니다. 서버 오류는 다릅니다. Google 문서에 따르면 robots.txt가 5xx 오류를 반환하면 Google은 처음 12시간 동안 사이트 크롤링을 중단하고, 그 후 최대 30일 동안 마지막으로 읽을 수 있었던 사본을 사용합니다.

결과 해석 방법

HTTP 200
파일을 찾았으며, 표시된 규칙이 크롤러가 적용하는 규칙입니다.
HTTP 404 또는 기타 4xx
robots.txt가 없으므로 크롤러는 모든 것을 크롤링할 수 있습니다. 막아야 할 영역이 없다면 많은 사이트에서 괜찮은 상태입니다.
HTTP 5xx
서버가 파일을 반환하지 못했습니다. 이 상태가 계속되는 동안 Google은 크롤링을 일시 중단하므로 서버 오류부터 해결하십시오.
Googlebot: 허용(allowed) 또는 차단(blocked)
파일에 Googlebot 전용 그룹이 있으면 그 그룹, 없으면 * 그룹에 따라 Googlebot이 입력한 URL을 가져올 수 있는지를 나타냅니다.
사이트 전체 차단
모든 크롤러에 어떤 경로도 크롤링하지 말라고 지시합니다. 스테이징 사이트라면 예상된 설정이지만, 운영 중인 사이트라면 거의 항상 실수입니다.
AI 크롤러: 차단(blocked) 또는 허용(allowed)
토큰별로 규칙이 말하는 내용입니다. 해당 크롤러에 대한 규칙이 아예 없는 경우도 허용에 포함됩니다.
나열된 사이트맵
파일에 있는 사이트맵 URL입니다. 각각 작동하는 XML 사이트맵을 반환하는 전체 URL이어야 합니다.

흔한 문제를 해결하는 방법

  • 사이트 전체가 차단되어 있을 때

    “User-agent: *” 그룹에서 “Disallow: /”를 삭제하거나, Disallow 줄을 비워 두어 모든 것을 허용하십시오. 플랫폼이 파일을 생성한다면 검색 노출 설정과 robots.txt 템플릿을 확인하십시오. Shopify에서는 테마 코드의 robots.txt.liquid입니다.

  • 규칙이 의도보다 많이 차단할 때

    규칙은 경로의 시작 부분과 일치합니다. 폴더 규칙은 슬래시로 끝내고(Disallow: /private/), 정확한 끝부분을 맞추려면 $를 쓰십시오(Disallow: /*.pdf$). 그런 다음 중요한 URL을 다시 확인하십시오.

  • Googlebot이 * 규칙을 무시할 때

    파일에 “User-agent: Googlebot” 그룹이 있으면 Googlebot은 그 그룹만 따릅니다. Googlebot에도 계속 적용하려는 모든 규칙을 그 그룹에 복사하십시오.

  • 검색 노출은 유지하면서 AI 학습 거부하기

    학습용 크롤러마다 그룹을 추가하십시오. 예를 들어 “User-agent: GPTBot” 다음에 “Disallow: /”를 쓰고, ClaudeBot, CCBot, Google-Extended, Applebot-Extended에도 똑같이 합니다. Googlebot과 Bingbot은 그대로 두십시오. OAI-SearchBot, Claude-SearchBot, PerplexityBot은 해당 서비스의 검색 답변에 페이지가 나타나도록 돕기 때문에 따로 결정하십시오.

  • robots.txt로 Google에서 페이지를 없애려 할 때

    Disallow는 크롤링을 막을 뿐 색인을 막지는 않습니다. 페이지를 검색에서 제외하려면 크롤링을 허용하고 <meta name="robots" content="noindex">를 추가하거나, 페이지가 없어졌다면 404 또는 410을 반환하십시오. 긴급한 경우에는 Search Console의 삭제 도구로 URL을 일시적으로 숨길 수 있습니다.

이 도구에 관한 질문

robots.txt로 AI 기업이 내 콘텐츠를 쓰지 못하게 막을 수 있나요?

robots.txt를 따르기로 한 크롤러에 대해서만, 그리고 다음 크롤링부터만 효과가 있습니다. 규칙을 추가하기 전에 이미 수집된 콘텐츠가 삭제되지는 않습니다.

Google-Extended를 차단하면 Google 검색에서 사이트가 빠지나요?

아닙니다. Google은 Google-Extended가 Google 검색의 포함 여부나 순위에 영향을 주지 않는다고 밝히고 있습니다. Google이 Gemini 모델에 콘텐츠를 사용할 수 있는지만 제어하며, Googlebot은 이전처럼 계속 크롤링합니다.

robots.txt가 없으면 문제가 되나요?

아닙니다. /robots.txt가 404를 반환하면 크롤러는 모든 것을 크롤링해도 된다고 판단합니다. 사이트 내 검색 결과 같은 영역에 크롤러가 들어오지 않게 하거나 사이트맵 위치를 알려야 할 때 추가하십시오.

robots.txt로 비공개 페이지를 숨길 수 있나요?

아닙니다. 이 파일은 공개되어 있으므로, 비공개 경로를 나열하면 오히려 그 경로를 알리는 셈입니다. 비공개 페이지는 로그인으로 보호하고, 검색에 나오지 않아야 할 공개 페이지에는 noindex를 사용하십시오.

변경 사항을 Google이 얼마나 빨리 알아차리나요?

Google은 일반적으로 robots.txt를 최대 24시간 동안 캐시하므로, 변경 사항이 적용되기까지 하루 정도 걸릴 수 있습니다. Search Console의 robots.txt 보고서에서 Google이 마지막으로 가져온 버전을 확인할 수 있습니다.

출처

관련 도구

SEO 수정 리포트($69, 1회 결제)는 전체 무료 스캔을 바탕으로 더 많은 페이지, 모든 발견 사항에 대한 변경 사항, PDF, 수정 결과를 검증하는 재테스트를 제공합니다.

SEO 수정 리포트 소개