เครื่องมือฟรี: SEO

ตรวจสอบไฟล์ Robots.txt

เราดึงไฟล์ robots.txt ของคุณและอ่านแบบเดียวกับครอว์เลอร์ตาม RFC 9309 ดูว่า Googlebot รวบรวมข้อมูลหน้าที่คุณกรอกได้หรือไม่ ทั้งเว็บไซต์ถูกบล็อกหรือไม่ กฎของคุณอนุญาตครอว์เลอร์ AI ตัวใด และไฟล์ระบุ sitemap ใดบ้าง

ฟรี ตรวจที่อยู่ที่คุณกรอกในเวลาประมาณ 20 วินาที

สิ่งที่เครื่องมือนี้ตรวจ

  • ไฟล์และสถานะ

    เราขอ /robots.txt จาก origin ของที่อยู่ที่คุณกรอก (scheme, host และ port เดียวกัน) และแสดงสถานะ HTTP พร้อมเนื้อหาไฟล์ตามที่เซิร์ฟเวอร์ส่งมา

  • จับคู่กลุ่มแบบเดียวกับครอว์เลอร์

    กฎจะจัดกลุ่มตาม User-agent ครอว์เลอร์จะทำตามกลุ่มที่ระบุชื่อตัวเอง และใช้กลุ่ม * เฉพาะเมื่อไม่มีกลุ่มใดระบุชื่อตัวเอง โดยไม่ผสมกฎของสองกลุ่มเข้าด้วยกัน

  • กฎที่ตรงยาวที่สุดเป็นฝ่ายชนะ

    ภายในกลุ่มเดียวกัน กฎ Allow หรือ Disallow ที่มีเส้นทางตรงกันยาวที่สุดจะเป็นตัวตัดสิน และหากยาวเท่ากัน Allow จะชนะ เครื่องหมาย * ตรงกับอักขระใดก็ได้ที่ต่อเนื่องกัน และ $ หมายถึงจุดสิ้นสุดของ URL

  • หน้าของคุณกับ Googlebot

    Googlebot รวบรวมข้อมูล URL ที่คุณกรอกได้หรือไม่ ภายใต้กฎที่ใช้กับ Googlebot

  • การบล็อกทั้งเว็บไซต์

    ครอว์เลอร์ทุกตัวถูกสั่งให้อยู่ห่างจากทั้งเว็บไซต์หรือไม่

  • ครอว์เลอร์ AI

    กฎของคุณบล็อกหรืออนุญาต GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider และ Meta-ExternalAgent หรือไม่

  • บรรทัด Sitemap

    ทุกบรรทัด Sitemap: ในไฟล์ เพื่อให้คุณยืนยันได้ว่าครอว์เลอร์ถูกชี้ไปยัง sitemap ที่ถูกต้อง

สิ่งที่ตรวจไม่ได้

  • บังคับใช้สิ่งใด robots.txt เป็นคำขอที่ครอว์เลอร์ซึ่งประพฤติดีจะทำตาม แต่ครอว์เลอร์อื่นอาจเพิกเฉย หากต้องการเก็บเนื้อหาไว้เป็นส่วนตัว ให้ใส่ไว้หลังการเข้าสู่ระบบ
  • บอกว่าหน้าถูกจัดทำดัชนีแล้วหรือไม่ URL ที่ถูกบล็อกยังปรากฏในการค้นหาได้หากมีหน้าอื่นลิงก์มา
  • แสดงว่าครอว์เลอร์ใดเข้ามาที่เว็บไซต์จริงหรือเข้ามาบ่อยแค่ไหน ข้อมูลนี้อยู่ในบันทึกของเซิร์ฟเวอร์ (server log)
  • อ่านไฟล์ของโฮสต์อื่น เช่น ซับโดเมนหรือ CDN แต่ละโฮสต์มี robots.txt ของตัวเอง
  • ครอบคลุมครอว์เลอร์ทุกตัว รายการนี้รวมครอว์เลอร์ AI ที่ใช้กันแพร่หลาย และมีโทเค็น user-agent ใหม่ปรากฏขึ้นเป็นประจำ

ทำไมจึงสำคัญ

robots.txt คือไฟล์แรกที่ครอว์เลอร์ส่วนใหญ่ขอ และบรรทัดเดียวก็เปลี่ยนวิธีรวบรวมข้อมูลของทั้งเว็บไซต์ได้ “Disallow: /” ใต้ “User-agent: *” ที่หลงเหลือจากช่วงพัฒนาจะทำให้เครื่องมือค้นหารวบรวมข้อมูลหน้าใดไม่ได้เลย กฎที่ตั้งใจใช้กับโฟลเดอร์เดียว เช่น “Disallow: /p” ก็บล็อก /products และ /pricing ไปด้วย เพราะกฎจะจับคู่กับส่วนต้นของเส้นทาง

ปัจจุบันไฟล์นี้มีหน้าที่ที่สองด้วย คือบอกบริษัท AI ว่าเก็บเนื้อหาใดได้บ้าง โทเค็นแต่ละตัวมีจุดประสงค์ต่างกัน OpenAI ระบุว่า GPTBot ใช้เก็บข้อมูลสำหรับการฝึกโมเดล และ OAI-SearchBot ใช้ค้นหาหน้าเว็บเพื่อแสดงในการค้นหาของ ChatGPT ส่วน Google-Extended ควบคุมว่า Google ใช้เนื้อหาของคุณกับโมเดล Gemini ได้หรือไม่ โดยไม่เปลี่ยนวิธีที่ Google Search รวบรวมข้อมูล การบล็อกโทเค็นหนึ่งไม่ได้บล็อกโทเค็นอื่น จึงควรตรวจแต่ละตัวเทียบกับสิ่งที่คุณตั้งใจ

รหัสสถานะสำคัญไม่แพ้เนื้อหา ไฟล์ที่ไม่มีอยู่ (404) ไม่เป็นอันตราย เพราะครอว์เลอร์ถือว่าได้รับอนุญาตให้รวบรวมข้อมูลทุกอย่าง แต่ข้อผิดพลาดของเซิร์ฟเวอร์ต่างออกไป เอกสารของ Google ระบุว่าเมื่อ robots.txt ส่งข้อผิดพลาด 5xx กลับมา Google จะหยุดรวบรวมข้อมูลเว็บไซต์ในช่วง 12 ชั่วโมงแรก จากนั้นจะใช้สำเนาล่าสุดที่อ่านได้นานสูงสุด 30 วัน

วิธีอ่านผลลัพธ์

HTTP 200
พบไฟล์ และกฎที่แสดงคือกฎที่ครอว์เลอร์นำไปใช้
HTTP 404 หรือรหัส 4xx อื่น
ไม่มี robots.txt ครอว์เลอร์จึงรวบรวมข้อมูลได้ทุกอย่าง ซึ่งไม่เป็นปัญหาสำหรับหลายเว็บไซต์ ตราบใดที่ไม่มีส่วนใดต้องกันไว้
HTTP 5xx
เซิร์ฟเวอร์ส่งไฟล์กลับมาไม่สำเร็จ Google จะหยุดรวบรวมข้อมูลชั่วคราวตราบที่ปัญหายังอยู่ จึงควรแก้ข้อผิดพลาดของเซิร์ฟเวอร์ก่อน
Googlebot: อนุญาตหรือบล็อก (allowed or blocked)
Googlebot ดึง URL ที่คุณกรอกได้หรือไม่ ตามกลุ่มของ Googlebot เองหากไฟล์มีกลุ่มนั้น หรือตามกลุ่ม * หากไม่มี
บล็อกทั้งเว็บไซต์
ครอว์เลอร์ทุกตัวถูกสั่งไม่ให้รวบรวมข้อมูลเส้นทางใดเลย เป็นเรื่องปกติบนเว็บไซต์ staging แต่แทบจะเป็นความผิดพลาดเสมอบนเว็บไซต์ที่ใช้งานจริง
ครอว์เลอร์ AI: บล็อกหรืออนุญาต (blocked or allowed)
สิ่งที่กฎของคุณกำหนดสำหรับโทเค็นแต่ละตัว “อนุญาต” (allowed) รวมถึงกรณีที่ไม่มีกฎสำหรับครอว์เลอร์นั้นเลย
Sitemap ที่ระบุไว้
URL ของ sitemap จากไฟล์ แต่ละรายการควรเป็น URL แบบเต็มที่ส่ง XML Sitemap ที่ใช้งานได้กลับมา

วิธีแก้ปัญหาที่พบบ่อยที่สุด

  • ทั้งเว็บไซต์ถูกบล็อก

    ลบ “Disallow: /” ออกจากกลุ่ม “User-agent: *” หรือเว้นบรรทัด Disallow ให้ว่างเพื่ออนุญาตทุกอย่าง หากแพลตฟอร์มสร้างไฟล์ให้อัตโนมัติ ให้ตรวจการตั้งค่าการมองเห็นในการค้นหาและเทมเพลต robots.txt ที่มีอยู่ สำหรับ Shopify คือไฟล์ robots.txt.liquid ในโค้ดของธีม

  • กฎบล็อกมากกว่าที่ตั้งใจ

    กฎจะจับคู่กับส่วนต้นของเส้นทาง ให้ปิดท้ายกฎสำหรับโฟลเดอร์ด้วยเครื่องหมายทับ (Disallow: /private/) และใช้ $ เพื่อจับคู่ส่วนท้ายแบบตรงตัว (Disallow: /*.pdf$) จากนั้นตรวจ URL ที่สำคัญกับคุณอีกครั้ง

  • Googlebot ไม่สนใจกฎในกลุ่ม *

    เมื่อไฟล์มีกลุ่ม “User-agent: Googlebot” Googlebot จะทำตามเฉพาะกลุ่มนั้น ให้คัดลอกกฎทุกข้อที่ต้องการให้ Googlebot ปฏิบัติตามไปไว้ในกลุ่มของ Googlebot

  • ไม่ให้นำข้อมูลไปฝึก AI แต่ยังอยู่ในผลการค้นหา

    เพิ่มกลุ่มสำหรับครอว์เลอร์ที่เก็บข้อมูลฝึกโมเดลแต่ละตัว เช่น “User-agent: GPTBot” ตามด้วย “Disallow: /” และทำแบบเดียวกันกับ ClaudeBot, CCBot, Google-Extended และ Applebot-Extended โดยไม่ต้องแตะ Googlebot และ Bingbot ส่วน OAI-SearchBot, Claude-SearchBot และ PerplexityBot ให้ตัดสินใจแยกต่างหาก เพราะครอว์เลอร์เหล่านี้ช่วยให้หน้าเว็บของคุณปรากฏในคำตอบจากการค้นหาของบริการเหล่านั้น

  • ใช้ robots.txt เพื่อนำหน้าออกจาก Google

    Disallow หยุดการรวบรวมข้อมูล ไม่ใช่การจัดทำดัชนี หากไม่ต้องการให้หน้าปรากฏในการค้นหา ให้อนุญาตการรวบรวมข้อมูลและเพิ่ม <meta name="robots" content="noindex"> หรือส่ง 404 หรือ 410 กลับมาหากหน้านั้นไม่มีแล้ว ในกรณีเร่งด่วน เครื่องมือนำออก (Removals) ใน Search Console จะซ่อน URL ได้ชั่วคราว

คำถามเกี่ยวกับเครื่องมือนี้

robots.txt หยุดบริษัท AI ไม่ให้ใช้เนื้อหาของเว็บไซต์ได้หรือไม่?

ได้เฉพาะกับครอว์เลอร์ที่เลือกทำตาม และมีผลตั้งแต่การรวบรวมข้อมูลครั้งถัดไปเท่านั้น ไม่ได้ลบเนื้อหาที่ถูกเก็บไปก่อนที่คุณจะเพิ่มกฎ

การบล็อก Google-Extended จะทำให้เว็บไซต์หายไปจาก Google Search หรือไม่?

ไม่ Google ระบุว่า Google-Extended ไม่มีผลต่อการแสดงหรือการจัดอันดับใน Google Search แต่ควบคุมเพียงว่า Google ใช้เนื้อหาของคุณกับโมเดล Gemini ได้หรือไม่ Googlebot ยังคงรวบรวมข้อมูลเหมือนเดิม

การไม่มี robots.txt เป็นปัญหาหรือไม่?

ไม่เป็น หาก /robots.txt ส่ง 404 กลับมา ครอว์เลอร์จะถือว่ารวบรวมข้อมูลได้ทุกอย่าง ให้เพิ่มไฟล์นี้เมื่อต้องการกันครอว์เลอร์ออกจากบางส่วน เช่น ผลการค้นหาภายในเว็บไซต์ หรือเพื่อชี้ไปยัง sitemap

ซ่อนหน้าส่วนตัวด้วย robots.txt ได้หรือไม่?

ไม่ได้ ไฟล์นี้เป็นสาธารณะ การระบุเส้นทางส่วนตัวไว้ในไฟล์จึงเท่ากับประกาศให้คนรู้ ให้ปกป้องหน้าส่วนตัวด้วยการเข้าสู่ระบบ และใช้ noindex กับหน้าสาธารณะที่ไม่ต้องการให้ปรากฏในการค้นหา

Google จะเห็นการเปลี่ยนแปลงเร็วแค่ไหน?

โดยทั่วไป Google จะแคช robots.txt ไว้นานสูงสุด 24 ชั่วโมง การเปลี่ยนแปลงจึงอาจใช้เวลาประมาณหนึ่งวันกว่าจะมีผล รายงาน robots.txt ใน Search Console แสดงเวอร์ชันที่ Google ดึงไปล่าสุด

แหล่งอ้างอิง

เครื่องมือที่เกี่ยวข้อง

รายงานแก้ไข SEO ($69 ชำระครั้งเดียว) เริ่มจากการสแกนฟรีแบบเต็ม แล้วเพิ่มจำนวนหน้า สิ่งที่ต้องเปลี่ยนสำหรับทุกปัญหาที่พบ ไฟล์ PDF และการทดสอบซ้ำเพื่อยืนยันการแก้ไข

เกี่ยวกับรายงานแก้ไข SEO