ابزار رایگان سئو

بررسی robots.txt

فایل robots.txt شما را دریافت می‌کنیم و آن را همان‌طور که خزنده‌ها می‌خوانند، طبق RFC 9309، می‌خوانیم. ببینید آیا Googlebot اجازه خزش صفحه‌ای را که وارد کرده‌اید دارد، آیا کل سایت مسدود است، قواعد شما به کدام خزنده‌های هوش مصنوعی اجازه می‌دهند، و فایل کدام نقشه‌های سایت را فهرست می‌کند.

رایگان. آدرسی را که وارد می‌کنید در حدود 20 ثانیه بررسی می‌کند.

این ابزار چه چیزهایی را بررسی می‌کند

  • فایل و وضعیت آن

    فایل /robots.txt را از مبدأ (origin) آدرسی که وارد می‌کنید (همان پروتکل، میزبان و پورت) درخواست می‌کنیم و وضعیت HTTP و خود فایل را همان‌طور که ارائه شده نشان می‌دهیم.

  • تطبیق گروه‌ها مانند یک خزنده

    قواعد بر اساس User-agent گروه‌بندی می‌شوند. هر خزنده از گروهی پیروی می‌کند که نام آن را آورده و فقط وقتی هیچ گروهی نامش را نیاورده باشد از گروه * استفاده می‌کند؛ این دو را با هم ترکیب نمی‌کند.

  • طولانی‌ترین تطابق تعیین‌کننده است

    در هر گروه، قاعده Allow یا Disallow با طولانی‌ترین مسیر منطبق تصمیم را می‌گیرد، و در حالت تساوی Allow برنده است. * با هر رشته‌ای از کاراکترها منطبق می‌شود و $ انتهای URL را مشخص می‌کند.

  • صفحه شما و Googlebot

    اینکه آیا Googlebot طبق قواعدی که بر آن اعمال می‌شود اجازه خزش دقیقاً همان URL واردشده را دارد.

  • مسدود شدن کل سایت

    اینکه آیا به همه خزنده‌ها گفته شده از کل سایت دور بمانند.

  • خزنده‌های هوش مصنوعی

    اینکه آیا قواعد شما GPTBot، OAI-SearchBot، ChatGPT-User، ClaudeBot، Claude-SearchBot، PerplexityBot، Google-Extended، Applebot-Extended، CCBot، Bytespider و Meta-ExternalAgent را مسدود می‌کنند یا به آن‌ها اجازه می‌دهند.

  • خطوط Sitemap

    همه خطوط Sitemap: موجود در فایل، تا مطمئن شوید خزنده‌ها به نقشه سایت درست هدایت می‌شوند.

آنچه نمی‌تواند بررسی کند

  • اجبار به رعایت هر چیزی. robots.txt یک درخواست است که خزنده‌های قانونمند از آن پیروی می‌کنند و بقیه نادیده‌اش می‌گیرند. برای خصوصی نگه داشتن محتوا، آن را پشت ورود به حساب قرار دهید.
  • اینکه به شما بگوید صفحه‌ای ایندکس شده است یا نه. یک URL مسدودشده اگر صفحات دیگر به آن لینک داده باشند، همچنان ممکن است در جست‌وجو ظاهر شود.
  • نشان دادن اینکه کدام خزنده‌ها واقعاً از سایت شما بازدید می‌کنند یا هر چند وقت یک بار. این اطلاعات در لاگ‌های سرور شماست.
  • خواندن فایل‌های میزبان‌های دیگر، مانند یک زیردامنه یا CDN. هر میزبان robots.txt مخصوص خودش را دارد.
  • پوشش همه خزنده‌ها. این فهرست شامل خزنده‌های هوش مصنوعی پرکاربرد است و توکن‌های user-agent جدید مرتب ظاهر می‌شوند.

چرا اهمیت دارد

robots.txt نخستین فایلی است که بیشتر خزنده‌ها درخواست می‌کنند، و یک خط می‌تواند نحوه خزش کل سایت را تغییر دهد. «Disallow: /» زیر «User-agent: *» که از دوره توسعه جا مانده، موتورهای جست‌وجو را از خزش همه چیز بازمی‌دارد. قاعده‌ای که برای یک پوشه در نظر گرفته شده، مانند «Disallow: /p»، /products و /pricing را هم مسدود می‌کند، چون قواعد با ابتدای مسیر تطبیق داده می‌شوند.

این فایل اکنون کار دومی هم انجام می‌دهد: به شرکت‌های هوش مصنوعی می‌گوید اجازه جمع‌آوری کدام محتوا را دارند. توکن‌ها بر اساس هدف متفاوت‌اند. OpenAI توکن GPTBot را برای جمع‌آوری داده‌های آموزشی و OAI-SearchBot را برای یافتن صفحاتی که در جست‌وجوی ChatGPT نمایش داده می‌شوند مستند کرده است. Google-Extended کنترل می‌کند که آیا گوگل می‌تواند از محتوای شما برای مدل‌های Gemini خود استفاده کند یا نه، بدون اینکه نحوه خزش Google Search تغییر کند. مسدود کردن یک توکن، بقیه را مسدود نمی‌کند، پس هر کدام را با آنچه قصد دارید مقایسه کنید.

کد وضعیت به اندازه محتوا اهمیت دارد. نبود فایل (404) بی‌خطر است: خزنده‌ها آن را به معنای اجازه خزش همه چیز می‌گیرند. خطای سرور فرق دارد. مستندات گوگل می‌گوید وقتی robots.txt خطای 5xx برمی‌گرداند، گوگل در 12 ساعت اول خزش سایت را متوقف می‌کند و سپس تا 30 روز از آخرین نسخه‌ای که توانسته بخواند استفاده می‌کند.

نحوه خواندن نتایج

HTTP 200
فایل پیدا شد و قواعد نمایش‌داده‌شده همان‌هایی هستند که خزنده‌ها اعمال می‌کنند.
HTTP 404 یا کد 4xx دیگر
هیچ robots.txt وجود ندارد، پس خزنده‌ها می‌توانند همه چیز را خزش کنند. برای بسیاری از سایت‌ها این مشکلی ندارد، به شرطی که لازم نباشد چیزی دور از دسترس خزنده‌ها بماند.
HTTP 5xx
سرور نتوانست فایل را برگرداند. تا وقتی این وضعیت ادامه دارد گوگل خزش را متوقف می‌کند، پس ابتدا خطای سرور را برطرف کنید.
Googlebot: مجاز یا مسدود (allowed or blocked)
اینکه آیا Googlebot می‌تواند URL واردشده را دریافت کند، طبق گروه خودش اگر فایل چنین گروهی داشته باشد، وگرنه طبق گروه *.
کل سایت مسدود است
به همه خزنده‌ها گفته شده هیچ مسیری را خزش نکنند. در سایت آزمایشی (staging) قابل انتظار است؛ در سایت فعال تقریباً همیشه اشتباه است.
خزنده‌های هوش مصنوعی: مسدود یا مجاز (blocked or allowed)
آنچه قواعد شما برای هر توکن می‌گویند. «مجاز» (allowed) حالتی را هم شامل می‌شود که اصلاً هیچ قاعده‌ای برای آن خزنده وجود ندارد.
نقشه‌های سایت فهرست‌شده
URLهای نقشه سایت موجود در فایل. هر کدام باید یک URL کامل باشد که یک نقشه سایت XML سالم برمی‌گرداند.

نحوه رفع رایج‌ترین مشکلات

  • کل سایت مسدود است

    «Disallow: /» را از گروه «User-agent: *» حذف کنید، یا خط Disallow را خالی بگذارید تا همه چیز مجاز شود. اگر پلتفرم شما فایل را تولید می‌کند، تنظیمات نمایش در موتورهای جست‌وجو و هر قالب robots.txt را بررسی کنید؛ در Shopify این قالب robots.txt.liquid در کد قالب فروشگاه است.

  • قاعده‌ای که بیش از حد انتظار مسدود می‌کند

    قواعد با ابتدای مسیر تطبیق داده می‌شوند. قواعد پوشه را با اسلش تمام کنید (Disallow: /private/) و برای تطبیق دقیق انتهای آدرس از $ استفاده کنید (Disallow: /*.pdf$). سپس URLهایی را که برایتان مهم‌اند دوباره بررسی کنید.

  • Googlebot قواعد * شما را نادیده می‌گیرد

    وقتی فایل گروهی با «User-agent: Googlebot» دارد، Googlebot فقط از همان گروه پیروی می‌کند. هر قاعده‌ای را که می‌خواهید Googlebot رعایت کند در گروه خودش کپی کنید.

  • انصراف از آموزش هوش مصنوعی در عین ماندن در جست‌وجو

    برای هر خزنده آموزشی یک گروه اضافه کنید، مثلاً «User-agent: GPTBot» و پس از آن «Disallow: /»، و همین کار را برای ClaudeBot، CCBot، Google-Extended و Applebot-Extended انجام دهید. به Googlebot و Bingbot دست نزنید. درباره OAI-SearchBot، Claude-SearchBot و PerplexityBot جداگانه تصمیم بگیرید، چون به نمایش صفحات شما در پاسخ‌های جست‌وجوی این سرویس‌ها کمک می‌کنند.

  • استفاده از robots.txt برای حذف صفحات از گوگل

    Disallow جلوی خزش را می‌گیرد، نه جلوی ایندکس شدن را. برای دور نگه داشتن صفحه از جست‌وجو، اجازه خزش بدهید و <meta name="robots" content="noindex"> را اضافه کنید، یا اگر صفحه حذف شده است 404 یا 410 برگردانید. ابزار Removals در Search Console در موارد فوری یک URL را به‌طور موقت پنهان می‌کند.

پرسش‌هایی درباره این ابزار

آیا robots.txt جلوی استفاده شرکت‌های هوش مصنوعی از محتوای من را می‌گیرد؟

فقط برای خزنده‌هایی که خودشان پیروی از آن را انتخاب کنند، و فقط از دفعه بعدی که خزش می‌کنند. محتوایی را که پیش از افزودن قاعده جمع‌آوری شده حذف نمی‌کند.

آیا مسدود کردن Google-Extended سایت من را از Google Search حذف می‌کند؟

خیر. گوگل می‌گوید Google-Extended بر حضور یا رتبه در Google Search اثری ندارد. این توکن فقط کنترل می‌کند که آیا گوگل می‌تواند از محتوای شما برای مدل‌های Gemini خود استفاده کند؛ Googlebot مثل قبل به خزش ادامه می‌دهد.

آیا نداشتن robots.txt مشکل است؟

خیر. اگر /robots.txt خطای 404 برگرداند، خزنده‌ها فرض می‌کنند می‌توانند همه چیز را خزش کنند. وقتی لازم است خزنده‌ها را از بخش‌هایی مانند نتایج جست‌وجوی داخلی دور نگه دارید، یا آن‌ها را به نقشه سایت خود هدایت کنید، این فایل را اضافه کنید.

آیا می‌توانم صفحات خصوصی را با robots.txt پنهان کنم؟

خیر. این فایل عمومی است، پس فهرست کردن مسیرهای خصوصی در آن، آن‌ها را در معرض دید قرار می‌دهد. از صفحات خصوصی با ورود به حساب محافظت کنید و برای صفحات عمومی که باید از جست‌وجو دور بمانند از noindex استفاده کنید.

گوگل چقدر سریع متوجه تغییر می‌شود؟

گوگل معمولاً robots.txt را تا 24 ساعت کش می‌کند، بنابراین اعمال یک تغییر ممکن است حدود یک روز طول بکشد. گزارش robots.txt در Search Console نسخه‌ای را که گوگل آخرین بار دریافت کرده نشان می‌دهد.

منابع

ابزارهای مرتبط

گزارش رفع مشکلات سئو ($69، یک‌باره) از اسکن رایگان کامل شروع می‌کند و صفحات بیشتر، تغییر لازم برای هر یافته، یک فایل PDF و تست‌های مجدد برای تأیید اصلاحات شما را اضافه می‌کند.

درباره گزارش رفع مشکلات سئو