أداة مجانية: SEO

فحص ملف robots.txt

نجلب ملف robots.txt الخاص بك ونقرؤه كما تقرؤه برامج الزحف، وفق RFC 9309. اعرف هل يُسمح لـ Googlebot بالزحف إلى الصفحة التي أدخلتها، وهل الموقع بأكمله محظور، وأي برامج زحف الذكاء الاصطناعي تسمح بها قواعدك، وأي خرائط الموقع يسردها الملف.

مجاني. يفحص العنوان الذي تدخله في نحو 20 ثانية.

ما تفحصه هذه الأداة

  • الملف وحالته

    نطلب /robots.txt من أصل (origin) العنوان الذي تُدخله (المخطط والمضيف والمنفذ نفسها)، ونعرض حالة HTTP والملف كما يقدّمه الخادم.

  • مجموعات تُطابَق كما يفعل برنامج الزحف

    تُجمَّع القواعد حسب User-agent. يتّبع برنامج الزحف المجموعة التي تذكره بالاسم، ولا يستخدم مجموعة * إلا إذا لم تذكره أي مجموعة؛ ولا يمزج بين الاثنتين.

  • الأطول تطابقًا هو الذي يحسم

    داخل المجموعة، تحسم قاعدة Allow أو Disallow ذات المسار المطابق الأطول، وتفوز Allow عند التعادل. يطابق الرمز * أي سلسلة من الأحرف، ويشير $ إلى نهاية عنوان URL.

  • صفحتك وGooglebot

    هل يُسمح لـ Googlebot بالزحف إلى عنوان URL الذي أدخلته بالضبط وفق القواعد التي تنطبق عليه.

  • حظر الموقع بأكمله

    هل يُطلب من كل برامج الزحف البقاء خارج الموقع بأكمله.

  • برامج زحف الذكاء الاصطناعي

    هل تحظر قواعدك أو تسمح لكل من GPTBot، وOAI-SearchBot، وChatGPT-User، وClaudeBot، وClaude-SearchBot، وPerplexityBot، وGoogle-Extended، وApplebot-Extended، وCCBot، وBytespider، وMeta-ExternalAgent.

  • أسطر Sitemap

    كل سطر Sitemap: في الملف، حتى تتأكد من أن برامج الزحف موجّهة إلى خريطة الموقع الصحيحة.

ما لا يمكنها فحصه

  • فرض أي شيء. ملف robots.txt طلب تلتزم به برامج الزحف حسنة السلوك ويتجاهله غيرها. لإبقاء المحتوى خاصًا، ضعه خلف تسجيل دخول.
  • إخبارك ما إذا كانت الصفحة مفهرسة. فعنوان URL المحظور قد يظل يظهر في البحث إذا كانت صفحات أخرى تربط إليه.
  • إظهار برامج الزحف التي تزور موقعك فعلًا أو عدد مرات زيارتها. سجلات الخادم لديك تحتوي على ذلك.
  • قراءة الملفات على مضيفات أخرى، مثل نطاق فرعي أو شبكة CDN. فلكل مضيف ملف robots.txt خاص به.
  • تغطية كل برامج الزحف. تتضمن القائمة برامج زحف الذكاء الاصطناعي الأكثر استخدامًا، وتظهر رموز وكلاء مستخدم (user-agent) جديدة باستمرار.

لماذا يهم ذلك

ملف robots.txt هو أول ملف تطلبه معظم برامج الزحف، وسطر واحد قد يغيّر طريقة الزحف إلى الموقع كله. فسطر «Disallow: /» تحت «User-agent: *»، المتبقي من مرحلة التطوير، يمنع محركات البحث من الزحف إلى أي شيء. والقاعدة المقصود بها مجلد واحد، مثل «Disallow: /p»، تحظر أيضًا /products و/pricing، لأن القواعد تطابق بداية المسار.

وصار للملف الآن دور ثانٍ: إخبار شركات الذكاء الاصطناعي بالمحتوى الذي يحق لها جمعه. وتختلف الرموز باختلاف الغرض. فـ OpenAI توثّق GPTBot لجمع بيانات التدريب، وOAI-SearchBot للعثور على صفحات تعرضها في بحث ChatGPT. ويتحكم Google-Extended في ما إذا كان يحق لـ Google استخدام محتواك لنماذج Gemini، دون تغيير طريقة زحف بحث Google. وحظر رمز واحد لا يحظر الرموز الأخرى، لذا تحقق من كل منها مقابل ما تقصده.

ورمز الحالة لا يقل أهمية عن المحتوى. فالملف المفقود (404) لا ضرر منه: إذ تعدّه برامج الزحف إذنًا بالزحف إلى كل شيء. أما خطأ الخادم فمختلف. تقول وثائق Google إنه عندما يُرجع robots.txt خطأ 5xx، تتوقف Google عن الزحف إلى الموقع خلال أول 12 ساعة، ثم تستخدم آخر نسخة استطاعت قراءتها لمدة تصل إلى 30 يومًا.

كيف تقرأ النتائج

HTTP 200
عُثر على الملف، والقواعد المعروضة هي التي تطبّقها برامج الزحف.
HTTP 404 أو أي رمز 4xx آخر
لا يوجد ملف robots.txt، لذا يمكن لبرامج الزحف الزحف إلى كل شيء. وهذا مقبول لكثير من المواقع، ما دام لا يوجد ما يجب إبعادها عنه.
HTTP 5xx
أخفق الخادم في إرجاع الملف. تُوقف Google الزحف مؤقتًا ما دام ذلك مستمرًا، لذا أصلح خطأ الخادم أولًا.
Googlebot: مسموح أو محظور (allowed or blocked)
هل يُسمح لـ Googlebot بجلب عنوان URL الذي أدخلته، وفق مجموعته الخاصة إن كانت في الملف، وإلا فوفق مجموعة *.
الموقع بأكمله محظور
يُطلب من كل برامج الزحف عدم الزحف إلى أي مسار. هذا متوقع في موقع تجريبي؛ لكنه خطأ في الغالب الأعم على موقع منشور للعموم.
برامج زحف الذكاء الاصطناعي: محظور أو مسموح (blocked or allowed)
ما تقوله قواعدك لكل رمز. وتشمل حالة «مسموح» (allowed) عدم وجود أي قاعدة لبرنامج الزحف هذا على الإطلاق.
خرائط الموقع المُدرجة
عناوين URL لخرائط الموقع الواردة في الملف. يجب أن يكون كل منها عنوان URL كاملًا يُرجع خريطة موقع XML صالحة.

كيف تصلح أكثر المشكلات شيوعًا

  • الموقع بأكمله محظور

    أزل «Disallow: /» من مجموعة «User-agent: *»، أو اترك سطر Disallow فارغًا للسماح بكل شيء. إذا كانت منصتك تولّد الملف، فتحقق من إعدادات الظهور في محركات البحث وأي قالب لملف robots.txt؛ في Shopify يكون ذلك robots.txt.liquid في كود القالب.

  • قاعدة تحظر أكثر مما هو مقصود

    تطابق القواعد بداية المسار. اختم قواعد المجلدات بشرطة مائلة (Disallow: /private/)، واستخدم $ لمطابقة نهاية محددة (Disallow: /*.pdf$). ثم افحص مجددًا عناوين URL المهمة لك.

  • Googlebot يتجاهل قواعد *

    عندما يحتوي الملف على مجموعة «User-agent: Googlebot»، لا يتّبع Googlebot إلا تلك المجموعة. انسخ كل قاعدة تريد أن يلتزم بها Googlebot إلى مجموعته الخاصة.

  • الانسحاب من تدريب الذكاء الاصطناعي مع البقاء في البحث

    أضف مجموعة لكل برنامج زحف خاص بالتدريب، مثل «User-agent: GPTBot» يليه «Disallow: /»، وافعل الشيء نفسه مع ClaudeBot وCCBot وGoogle-Extended وApplebot-Extended. واترك Googlebot وBingbot كما هما. وقرّر بشكل منفصل بشأن OAI-SearchBot وClaude-SearchBot وPerplexityBot، التي تساعد صفحاتك على الظهور في إجابات البحث لدى تلك الخدمات.

  • استخدام robots.txt لإزالة الصفحات من Google

    يمنع Disallow الزحف، لا الفهرسة. لإبقاء صفحة خارج البحث، اسمح بالزحف وأضف <meta name="robots" content="noindex">، أو أرجع 404 أو 410 إذا كانت الصفحة قد حُذفت. وتُخفي أداة الإزالة (Removals) في Search Console عنوان URL مؤقتًا في الحالات العاجلة.

أسئلة حول هذه الأداة

هل يمنع robots.txt شركات الذكاء الاصطناعي من استخدام محتواي؟

فقط مع برامج الزحف التي تختار الالتزام به، وفقط بدءًا من المرة التالية التي تزحف فيها. ولا يُزيل المحتوى الذي جُمع قبل إضافتك للقاعدة.

هل سيؤدي حظر Google-Extended إلى إزالة موقعي من بحث Google؟

لا. تقول Google إن Google-Extended لا يؤثر في الإدراج أو الترتيب في بحث Google. فهو يتحكم فقط في ما إذا كان يحق لـ Google استخدام محتواك لنماذج Gemini؛ ويواصل Googlebot الزحف كما كان.

هل يُعدّ غياب ملف robots.txt مشكلة؟

لا. إذا أرجع /robots.txt الرمز 404، تفترض برامج الزحف أنه يمكنها الزحف إلى كل شيء. أضف ملفًا حين تحتاج إلى إبعاد برامج الزحف عن مناطق مثل نتائج البحث الداخلي، أو إلى توجيهها إلى خريطة موقعك.

هل يمكنني إخفاء الصفحات الخاصة باستخدام robots.txt؟

لا. الملف متاح للعموم، لذا فإن إدراج المسارات الخاصة فيه يكشفها للجميع. احمِ الصفحات الخاصة بتسجيل دخول، واستخدم noindex للصفحات العامة التي يجب أن تبقى خارج البحث.

ما مدى سرعة ملاحظة Google للتغيير؟

تخزّن Google ملف robots.txt مؤقتًا عمومًا لمدة تصل إلى 24 ساعة، لذا قد يستغرق تطبيق التغيير نحو يوم. ويعرض تقرير robots.txt في Search Console النسخة التي جلبتها Google آخر مرة.

المصادر

أدوات ذات صلة

يبدأ تقرير إصلاح SEO ($69، دفعة واحدة) من الفحص المجاني الكامل، ويضيف صفحات أكثر، والتغيير المطلوب لكل نتيجة، وملف PDF، وإعادة اختبار للتحقق من إصلاحاتك.

عن تقرير إصلاح SEO