मुफ़्त SEO टूल

Robots.txt चेकर

हम आपकी robots.txt फ़ेच करते हैं और उसे RFC 9309 के अनुसार वैसे ही पढ़ते हैं जैसे क्रॉलर पढ़ते हैं। देखें कि क्या Googlebot आपका डाला हुआ पेज क्रॉल कर सकता है, क्या पूरी साइट ब्लॉक है, आपके नियम किन AI क्रॉलर को अनुमति देते हैं, और फ़ाइल में कौन-से साइटमैप दिए गए हैं।

मुफ़्त। आपके डाले गए पते को लगभग 20 सेकंड में जांचता है।

यह टूल क्या जांचता है

  • फ़ाइल और उसका स्टेटस

    हम आपके डाले गए पते के ओरिजिन (वही स्कीम, होस्ट और पोर्ट) से /robots.txt माँगते हैं और HTTP स्टेटस के साथ फ़ाइल को ठीक वैसे दिखाते हैं जैसे वह सर्व होती है।

  • क्रॉलर की तरह मिलाए गए ग्रुप

    नियम User-agent के हिसाब से ग्रुप में बँटे होते हैं। क्रॉलर उस ग्रुप को फ़ॉलो करता है जिसमें उसका नाम हो, और * ग्रुप का इस्तेमाल तभी करता है जब किसी ग्रुप में उसका नाम न हो; वह दोनों को मिलाता नहीं है।

  • सबसे लंबा मैच जीतता है

    किसी ग्रुप के अंदर, सबसे लंबे मेल खाते पाथ वाला Allow या Disallow नियम फ़ैसला करता है, और बराबरी होने पर Allow जीतता है। * कैरेक्टर की किसी भी श्रृंखला से मेल खाता है और $ URL के अंत को दर्शाता है।

  • आपका पेज और Googlebot

    क्या Googlebot पर लागू होने वाले नियमों के तहत वह ठीक आपका डाला हुआ URL क्रॉल कर सकता है।

  • पूरी साइट पर रोक

    क्या हर क्रॉलर को पूरी साइट से दूर रहने के लिए कहा गया है।

  • AI क्रॉलर

    क्या आपके नियम GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider और Meta-ExternalAgent को ब्लॉक करते हैं या अनुमति देते हैं।

  • Sitemap लाइनें

    फ़ाइल की हर Sitemap: लाइन, ताकि आप पुष्टि कर सकें कि क्रॉलर को सही साइटमैप की ओर भेजा जा रहा है।

यह क्या नहीं जांच सकता

  • किसी भी चीज़ को लागू नहीं करवा सकता। robots.txt एक अनुरोध है जिसे भरोसेमंद क्रॉलर मानते हैं और दूसरे नज़रअंदाज़ कर देते हैं। कंटेंट को निजी रखने के लिए उसे लॉगिन के पीछे रखें।
  • यह नहीं बता सकता कि कोई पेज इंडेक्स है या नहीं। ब्लॉक किया गया URL भी सर्च में दिख सकता है, अगर दूसरे पेज उससे लिंक करते हैं।
  • यह नहीं दिखा सकता कि कौन-से क्रॉलर असल में आपकी साइट पर आते हैं या कितनी बार। यह जानकारी आपके सर्वर लॉग में होती है।
  • दूसरे होस्ट, जैसे किसी सबडोमेन या CDN, की फ़ाइलें नहीं पढ़ सकता। हर होस्ट की अपनी robots.txt होती है।
  • हर क्रॉलर को कवर नहीं कर सकता। सूची में आमतौर पर इस्तेमाल होने वाले AI क्रॉलर शामिल हैं, और नए user-agent टोकन लगातार आते रहते हैं।

यह क्यों ज़रूरी है

robots.txt वह पहली फ़ाइल है जिसे ज़्यादातर क्रॉलर माँगते हैं, और एक लाइन पूरी साइट के क्रॉल होने का तरीका बदल सकती है। डेवलपमेंट से बची रह गई “User-agent: *” के नीचे की “Disallow: /” सर्च इंजन को कुछ भी क्रॉल करने से रोक देती है। किसी एक फ़ोल्डर के लिए बना नियम, जैसे “Disallow: /p”, /products और /pricing को भी ब्लॉक कर देता है, क्योंकि नियम पाथ की शुरुआत से मेल खाते हैं।

यह फ़ाइल अब एक दूसरा काम भी करती है: AI कंपनियों को बताना कि वे कौन-सा कंटेंट इकट्ठा कर सकती हैं। टोकन मकसद के हिसाब से अलग-अलग होते हैं। OpenAI के दस्तावेज़ों के अनुसार GPTBot ट्रेनिंग डेटा इकट्ठा करने के लिए है और OAI-SearchBot ChatGPT सर्च में दिखाने के लिए पेज ढूँढने के लिए। Google-Extended तय करता है कि Google आपके कंटेंट को अपने Gemini मॉडल के लिए इस्तेमाल कर सकता है या नहीं, और इससे Google Search के क्रॉल करने का तरीका नहीं बदलता। एक टोकन को ब्लॉक करने से बाकी ब्लॉक नहीं होते, इसलिए हर टोकन को अपने इरादे के हिसाब से जाँचें।

स्टेटस कोड भी उतना ही मायने रखता है जितना कंटेंट। फ़ाइल का न होना (404) नुकसानदेह नहीं है: क्रॉलर इसे सब कुछ क्रॉल करने की अनुमति मानते हैं। सर्वर एरर अलग बात है। Google के दस्तावेज़ों के अनुसार, जब robots.txt 5xx एरर लौटाती है, तो Google पहले 12 घंटों के लिए साइट को क्रॉल करना बंद कर देता है, फिर अधिकतम 30 दिनों तक वह आख़िरी कॉपी इस्तेमाल करता है जिसे वह पढ़ पाया था।

नतीजों को कैसे समझें

HTTP 200
फ़ाइल मिल गई, और दिखाए गए नियम वही हैं जिन्हें क्रॉलर लागू करते हैं।
HTTP 404 या कोई दूसरा 4xx
कोई robots.txt नहीं है, इसलिए क्रॉलर सब कुछ क्रॉल कर सकते हैं। कई साइटों के लिए यह ठीक है, बशर्ते किसी चीज़ को बाहर रखने की ज़रूरत न हो।
HTTP 5xx
सर्वर फ़ाइल लौटाने में नाकाम रहा। जब तक यह स्थिति रहती है, Google क्रॉल करना रोक देता है, इसलिए पहले सर्वर एरर ठीक करें।
Googlebot: अनुमति है या ब्लॉक (allowed or blocked)
क्या Googlebot आपका डाला हुआ URL फ़ेच कर सकता है, फ़ाइल में उसका अपना ग्रुप हो तो उसके तहत, वरना * ग्रुप के तहत।
पूरी साइट ब्लॉक
हर क्रॉलर को कोई भी पाथ क्रॉल न करने के लिए कहा गया है। स्टेजिंग साइट पर यह अपेक्षित है; लाइव साइट पर लगभग हमेशा गलती होती है।
AI क्रॉलर: ब्लॉक या अनुमति (blocked or allowed)
हर टोकन के लिए आपके नियम क्या कहते हैं। अनुमति में वह स्थिति भी शामिल है जब उस क्रॉलर के लिए कोई नियम ही न हो।
सूचीबद्ध साइटमैप
फ़ाइल में दिए गए साइटमैप URL। हर एक पूरा URL होना चाहिए जो एक काम करने वाला XML साइटमैप लौटाए।

सबसे आम समस्याओं को कैसे ठीक करें

  • पूरी साइट ब्लॉक है

    “User-agent: *” ग्रुप से “Disallow: /” हटाएँ, या सब कुछ अनुमति देने के लिए Disallow लाइन को खाली छोड़ दें। अगर आपका प्लेटफ़ॉर्म यह फ़ाइल बनाता है, तो उसकी सर्च विज़िबिलिटी सेटिंग्स और कोई भी robots.txt टेम्पलेट जाँचें; Shopify पर यह थीम कोड में robots.txt.liquid है।

  • कोई नियम ज़रूरत से ज़्यादा ब्लॉक करता है

    नियम पाथ की शुरुआत से मेल खाते हैं। फ़ोल्डर वाले नियमों के अंत में स्लैश लगाएँ (Disallow: /private/) और ठीक-ठीक अंत से मिलान के लिए $ इस्तेमाल करें (Disallow: /*.pdf$)। फिर अपने लिए ज़रूरी URL दोबारा जाँचें।

  • Googlebot आपके * नियमों को नज़रअंदाज़ करता है

    जब फ़ाइल में “User-agent: Googlebot” ग्रुप होता है, तो Googlebot केवल उसी ग्रुप को फ़ॉलो करता है। जो भी नियम आप Googlebot के लिए रखना चाहते हैं, उन सबको उसके अपने ग्रुप में कॉपी करें।

  • सर्च में बने रहते हुए AI ट्रेनिंग से बाहर रहना

    हर ट्रेनिंग क्रॉलर के लिए एक ग्रुप जोड़ें, जैसे “User-agent: GPTBot” और उसके बाद “Disallow: /”, और ClaudeBot, CCBot, Google-Extended और Applebot-Extended के लिए भी यही करें। Googlebot और Bingbot को वैसे ही रहने दें। OAI-SearchBot, Claude-SearchBot और PerplexityBot के बारे में अलग से फ़ैसला करें, क्योंकि ये आपके पेजों को उन सर्विसेज़ के सर्च जवाबों में दिखाने में मदद करते हैं।

  • Google से पेज हटाने के लिए robots.txt का इस्तेमाल

    Disallow क्रॉलिंग रोकता है, इंडेक्सिंग नहीं। किसी पेज को सर्च से बाहर रखने के लिए क्रॉलिंग की अनुमति दें और <meta name="robots" content="noindex"> जोड़ें, या अगर पेज हटा दिया गया है तो 404 या 410 लौटाएँ। ज़रूरी मामलों में Search Console का Removals टूल किसी URL को कुछ समय के लिए छिपा देता है।

इस टूल के बारे में सवाल

क्या robots.txt AI कंपनियों को मेरा कंटेंट इस्तेमाल करने से रोकती है?

केवल उन क्रॉलर के लिए जो इसे मानना चुनते हैं, और केवल उनके अगली बार क्रॉल करने से। नियम जोड़ने से पहले इकट्ठा किया गया कंटेंट इससे हटता नहीं है।

क्या Google-Extended को ब्लॉक करने से मेरी साइट Google Search से हट जाएगी?

नहीं। Google के अनुसार Google-Extended का Google Search में शामिल होने या रैंकिंग पर कोई असर नहीं पड़ता। यह केवल तय करता है कि Google आपके कंटेंट को अपने Gemini मॉडल के लिए इस्तेमाल कर सकता है या नहीं; Googlebot पहले की तरह क्रॉल करता रहता है।

क्या robots.txt का न होना कोई समस्या है?

नहीं। अगर /robots.txt 404 लौटाती है, तो क्रॉलर मान लेते हैं कि वे सब कुछ क्रॉल कर सकते हैं। फ़ाइल तब जोड़ें जब आपको क्रॉलर को इंटरनल सर्च नतीजों जैसे हिस्सों से दूर रखना हो, या उन्हें अपने साइटमैप की ओर भेजना हो।

क्या robots.txt से निजी पेज छिपाए जा सकते हैं?

नहीं। यह फ़ाइल सार्वजनिक है, इसलिए इसमें निजी पाथ लिखना उनका प्रचार करने जैसा है। निजी पेजों को लॉगिन से सुरक्षित रखें, और जिन सार्वजनिक पेजों को सर्च से बाहर रहना चाहिए उनके लिए noindex इस्तेमाल करें।

Google किसी बदलाव को कितनी जल्दी पकड़ता है?

Google आमतौर पर robots.txt को अधिकतम 24 घंटे तक कैश करता है, इसलिए किसी बदलाव को लागू होने में लगभग एक दिन लग सकता है। Search Console की robots.txt रिपोर्ट वह वर्ज़न दिखाती है जिसे Google ने आख़िरी बार फ़ेच किया था।

स्रोत

संबंधित टूल

SEO सुधार रिपोर्ट ($69, एक बार का भुगतान) पूरे मुफ़्त स्कैन से शुरू होती है और उसमें और पेज, हर नतीजे के लिए करने वाला बदलाव, एक PDF और आपके सुधारों की पुष्टि के लिए री-टेस्ट जोड़ती है।

SEO सुधार रिपोर्ट के बारे में