ফ্রি SEO টুল

Robots.txt চেকার

আমরা আপনার robots.txt সংগ্রহ করি এবং RFC 9309 অনুসরণ করে ক্রলাররা যেভাবে পড়ে সেভাবে পড়ি। দেখুন আপনার দেওয়া পেজ Googlebot ক্রল করতে পারে কি না, পুরো সাইট আটকানো কি না, আপনার নিয়ম কোন কোন AI ক্রলারকে অনুমতি দেয়, এবং ফাইলে কোন সাইটম্যাপ তালিকাভুক্ত।

ফ্রি। আপনার দেওয়া ঠিকানা প্রায় 20 সেকেন্ডে যাচাই করে।

এই টুল কী যাচাই করে

  • ফাইল ও তার স্ট্যাটাস

    আপনার দেওয়া ঠিকানার অরিজিন (একই স্কিম, হোস্ট ও পোর্ট) থেকে আমরা /robots.txt চেয়ে পাঠাই এবং HTTP স্ট্যাটাস ও সার্ভার ফাইলটি যেভাবে দেয় হুবহু সেভাবে দেখাই।

  • ক্রলারের মতো করে গ্রুপ মেলানো

    নিয়মগুলো User-agent অনুযায়ী গ্রুপে ভাগ করা থাকে। একটি ক্রলার সেই গ্রুপ অনুসরণ করে যেখানে তার নাম আছে, এবং কোনো গ্রুপে তার নাম না থাকলে তবেই * গ্রুপ ব্যবহার করে; সে দুটি মিশিয়ে ফেলে না।

  • দীর্ঘতম মিলই চূড়ান্ত

    একটি গ্রুপের মধ্যে যে Allow বা Disallow নিয়মের পাথ সবচেয়ে দীর্ঘভাবে মেলে, সেটিই সিদ্ধান্ত নেয়, আর সমান হলে Allow জেতে। * যেকোনো ধারাবাহিক অক্ষরের সঙ্গে মেলে এবং $ URL-এর শেষ চিহ্নিত করে।

  • আপনার পেজ ও Googlebot

    Googlebot-এর ওপর প্রযোজ্য নিয়ম অনুযায়ী, আপনার দেওয়া হুবহু URL-টি সে ক্রল করতে পারে কি না।

  • পুরো সাইট আটকানো

    সব ক্রলারকে পুরো সাইট থেকে দূরে থাকতে বলা হয়েছে কি না।

  • AI ক্রলার

    আপনার নিয়ম GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider ও Meta-ExternalAgent-কে আটকায় নাকি অনুমতি দেয়।

  • Sitemap লাইন

    ফাইলের প্রতিটি Sitemap: লাইন, যাতে আপনি নিশ্চিত হতে পারেন ক্রলারদের সঠিক সাইটম্যাপের দিকে পাঠানো হচ্ছে।

যা এটি যাচাই করতে পারে না

  • কোনো কিছু বাধ্যতামূলকভাবে কার্যকর করা। robots.txt একটি অনুরোধ, যা নিয়ম মেনে চলা ক্রলাররা মানে আর অন্যরা উপেক্ষা করে। কনটেন্ট ব্যক্তিগত রাখতে হলে সেটি লগইনের পেছনে রাখুন।
  • কোনো পেজ ইনডেক্স হয়েছে কি না বলা। অন্য পেজ লিংক দিলে আটকানো URL-ও সার্চে দেখা যেতে পারে।
  • কোন কোন ক্রলার আসলে আপনার সাইটে আসে বা কত ঘন ঘন আসে, তা দেখানো। এই তথ্য আপনার সার্ভার লগে থাকে।
  • অন্য হোস্টের ফাইল পড়া, যেমন কোনো সাবডোমেইন বা CDN। প্রতিটি হোস্টের নিজস্ব robots.txt থাকে।
  • প্রতিটি ক্রলার কভার করা। তালিকায় বহুল ব্যবহৃত AI ক্রলারগুলো আছে, আর নিয়মিতই নতুন ইউজার-এজেন্ট টোকেন আসে।

কেন এটি গুরুত্বপূর্ণ

robots.txt হলো বেশিরভাগ ক্রলারের চেয়ে পাঠানো প্রথম ফাইল, আর একটি লাইনই পুরো সাইট কীভাবে ক্রল হবে তা বদলে দিতে পারে। ডেভেলপমেন্ট থেকে রয়ে যাওয়া “User-agent: *”-এর অধীনে “Disallow: /” সার্চ ইঞ্জিনকে কোনো কিছুই ক্রল করতে দেয় না। একটি ফোল্ডারের জন্য লেখা নিয়ম, যেমন “Disallow: /p”, /products ও /pricing-কেও আটকে দেয়, কারণ নিয়ম পাথের শুরুর অংশের সঙ্গে মেলে।

ফাইলটি এখন দ্বিতীয় একটি কাজও করে: AI কোম্পানিগুলোকে জানানো তারা কোন কনটেন্ট সংগ্রহ করতে পারে। উদ্দেশ্য অনুযায়ী টোকেন আলাদা। OpenAI জানিয়েছে GPTBot ট্রেনিং ডেটা সংগ্রহের জন্য, আর OAI-SearchBot ChatGPT সার্চে দেখানোর মতো পেজ খোঁজার জন্য। Google-Extended নিয়ন্ত্রণ করে Google তার Gemini মডেলের জন্য আপনার কনটেন্ট ব্যবহার করতে পারবে কি না, Google Search কীভাবে ক্রল করে তা না বদলেই। একটি টোকেন আটকালে অন্যগুলো আটকায় না, তাই প্রতিটি আপনার উদ্দেশ্যের সঙ্গে মিলিয়ে দেখুন।

স্ট্যাটাস কোড কনটেন্টের মতোই গুরুত্বপূর্ণ। ফাইল না থাকা (404) ক্ষতিকর নয়: ক্রলাররা এটিকে সবকিছু ক্রল করার অনুমতি হিসেবে ধরে। সার্ভার ত্রুটি আলাদা ব্যাপার। Google-এর ডকুমেন্টেশন বলে, robots.txt 5xx ত্রুটি ফেরত দিলে Google প্রথম 12 ঘণ্টা সাইটটির ক্রলিং বন্ধ রাখে, তারপর সর্বোচ্চ 30 দিন পর্যন্ত সর্বশেষ যে কপিটি পড়তে পেরেছিল সেটি ব্যবহার করে।

ফলাফল কীভাবে বুঝবেন

HTTP 200
ফাইলটি পাওয়া গেছে, এবং দেখানো নিয়মগুলোই ক্রলাররা প্রয়োগ করে।
HTTP 404 বা অন্য কোনো 4xx
কোনো robots.txt নেই, তাই ক্রলাররা সবকিছু ক্রল করতে পারে। অনেক সাইটের জন্য এটি ঠিক আছে, যদি না কোনো কিছু বাইরে রাখার দরকার হয়।
HTTP 5xx
সার্ভার ফাইলটি ফেরত দিতে ব্যর্থ হয়েছে। যতক্ষণ এটি চলে, Google ক্রলিং থামিয়ে রাখে, তাই আগে সার্ভার ত্রুটি ঠিক করুন।
Googlebot: অনুমোদিত বা আটকানো (allowed or blocked)
আপনার দেওয়া URL-টি Googlebot আনতে পারে কি না, ফাইলে তার নিজের গ্রুপ থাকলে সেই গ্রুপ অনুযায়ী, না থাকলে * গ্রুপ অনুযায়ী।
পুরো সাইট আটকানো
প্রতিটি ক্রলারকে কোনো পাথই ক্রল না করতে বলা হয়েছে। স্টেজিং সাইটে এটি প্রত্যাশিত; লাইভ সাইটে প্রায় সবসময়ই ভুল।
AI ক্রলার: আটকানো বা অনুমোদিত (blocked or allowed)
প্রতিটি টোকেনের জন্য আপনার নিয়ম কী বলে। ওই ক্রলারের জন্য কোনো নিয়মই না থাকলে সেটিও অনুমোদিত (allowed) হিসেবে ধরা হয়।
তালিকাভুক্ত সাইটম্যাপ
ফাইল থেকে পাওয়া সাইটম্যাপ URL। প্রতিটি হওয়া উচিত একটি পূর্ণ URL, যা কার্যকর XML সাইটম্যাপ ফেরত দেয়।

সবচেয়ে সাধারণ সমস্যাগুলো কীভাবে ঠিক করবেন

  • পুরো সাইট আটকানো

    “User-agent: *” গ্রুপ থেকে “Disallow: /” সরিয়ে দিন, অথবা সবকিছুর অনুমতি দিতে Disallow লাইনটি খালি রাখুন। আপনার প্ল্যাটফর্ম যদি ফাইলটি তৈরি করে, তাহলে তার সার্চ ভিজিবিলিটি সেটিংস এবং কোনো robots.txt টেমপ্লেট থাকলে সেটি দেখুন; Shopify-তে সেটি থিম কোডের robots.txt.liquid।

  • একটি নিয়ম প্রত্যাশার চেয়ে বেশি আটকায়

    নিয়ম পাথের শুরুর অংশের সঙ্গে মেলে। ফোল্ডারের নিয়ম স্ল্যাশ দিয়ে শেষ করুন (Disallow: /private/) এবং হুবহু শেষাংশ মেলাতে $ ব্যবহার করুন (Disallow: /*.pdf$)। তারপর আপনার কাছে গুরুত্বপূর্ণ URL-গুলো আবার যাচাই করুন।

  • Googlebot আপনার * নিয়ম উপেক্ষা করে

    ফাইলে “User-agent: Googlebot” গ্রুপ থাকলে Googlebot কেবল সেই গ্রুপটিই অনুসরণ করে। Googlebot-এর জন্য যে নিয়মগুলো বহাল রাখতে চান, তার প্রতিটি তার নিজের গ্রুপে কপি করুন।

  • সার্চে থেকেও AI ট্রেনিং থেকে বেরিয়ে আসা

    প্রতিটি ট্রেনিং ক্রলারের জন্য একটি গ্রুপ যোগ করুন, যেমন “User-agent: GPTBot”-এর পরে “Disallow: /”, এবং ClaudeBot, CCBot, Google-Extended ও Applebot-Extended-এর জন্যও একই কাজ করুন। Googlebot ও Bingbot-এ হাত দেবেন না। OAI-SearchBot, Claude-SearchBot ও PerplexityBot নিয়ে আলাদাভাবে সিদ্ধান্ত নিন, কারণ এগুলো ওই সেবাগুলোর সার্চ উত্তরে আপনার পেজ দেখাতে সাহায্য করে।

  • Google থেকে পেজ সরাতে robots.txt ব্যবহার করা

    Disallow ক্রলিং থামায়, ইনডেক্সিং নয়। কোনো পেজ সার্চের বাইরে রাখতে চাইলে ক্রলিংয়ের অনুমতি দিন এবং <meta name="robots" content="noindex"> যোগ করুন, অথবা পেজটি আর না থাকলে 404 বা 410 ফেরত দিন। জরুরি ক্ষেত্রে Search Console-এর Removals টুল সাময়িকভাবে একটি URL লুকিয়ে রাখে।

এই টুল নিয়ে প্রশ্ন

robots.txt কি AI কোম্পানিগুলোকে আমার কনটেন্ট ব্যবহার করা থেকে বিরত রাখে?

শুধু সেইসব ক্রলারের ক্ষেত্রে, যারা এটি মানতে বেছে নেয়, এবং কেবল তাদের পরের ক্রল থেকে। নিয়ম যোগ করার আগে যে কনটেন্ট সংগ্রহ করা হয়েছে, এটি তা মুছে দেয় না।

Google-Extended আটকালে কি আমার সাইট Google Search থেকে সরে যাবে?

না। Google বলে, Google-Extended Google Search-এ অন্তর্ভুক্তি বা র‍্যাংকিংকে প্রভাবিত করে না। এটি শুধু নিয়ন্ত্রণ করে Google তার Gemini মডেলের জন্য আপনার কনটেন্ট ব্যবহার করতে পারবে কি না; Googlebot আগের মতোই ক্রল করতে থাকে।

robots.txt না থাকা কি সমস্যা?

না। /robots.txt যদি 404 ফেরত দেয়, ক্রলাররা ধরে নেয় তারা সবকিছু ক্রল করতে পারে। যখন ক্রলারদের ইন্টারনাল সার্চ ফলাফলের মতো জায়গা থেকে দূরে রাখতে হবে, বা তাদের আপনার সাইটম্যাপের দিকে পাঠাতে হবে, তখন একটি যোগ করুন।

robots.txt দিয়ে কি ব্যক্তিগত পেজ লুকানো যায়?

না। ফাইলটি পাবলিক, তাই এতে ব্যক্তিগত পাথ তালিকাভুক্ত করলে সেগুলোর কথাই সবাইকে জানিয়ে দেওয়া হয়। ব্যক্তিগত পেজ লগইন দিয়ে সুরক্ষিত রাখুন, আর যেসব পাবলিক পেজ সার্চের বাইরে থাকা উচিত সেগুলোর জন্য noindex ব্যবহার করুন।

Google কত তাড়াতাড়ি কোনো পরিবর্তন লক্ষ করে?

Google সাধারণত robots.txt সর্বোচ্চ 24 ঘণ্টা পর্যন্ত ক্যাশ করে রাখে, তাই পরিবর্তন কার্যকর হতে প্রায় এক দিন লাগতে পারে। Search Console-এর robots.txt রিপোর্ট দেখায় Google সর্বশেষ কোন সংস্করণটি এনেছে।

সূত্র

সংশ্লিষ্ট টুল

SEO সংশোধন রিপোর্ট ($69, এককালীন) পুরো ফ্রি স্ক্যান থেকে শুরু করে এবং যোগ করে আরও পেজ, প্রতিটি সমস্যার জন্য করণীয় পরিবর্তন, একটি PDF এবং আপনার সংশোধন যাচাইয়ের জন্য রি-টেস্ট।

SEO সংশোধন রিপোর্ট সম্পর্কে