כלי SEO חינמי

בדיקת robots.txt

אנחנו מורידים את קובץ ה-robots.txt שלך וקוראים אותו כמו שזחלנים עושים, לפי RFC 9309. אפשר לראות אם Googlebot רשאי לסרוק את הדף שהזנת, אם כל האתר חסום, אילו זחלני AI הכללים שלך מתירים, ואילו מפות אתר מופיעות בקובץ.

חינם. בודק את הכתובת שהוזנה תוך כ-20 שניות.

מה הכלי בודק

  • הקובץ והסטטוס שלו

    אנחנו מבקשים את /robots.txt מהמקור (origin) של הכתובת שהזנת (אותם פרוטוקול, מארח ופורט), ומציגים את סטטוס ה-HTTP ואת הקובץ כפי שהוא מוגש.

  • התאמת קבוצות כמו אצל זחלן

    הכללים מקובצים לפי User-agent. זחלן פועל לפי הקבוצה שנוקבת בשמו, ומשתמש בקבוצת * רק כשאף קבוצה לא נוקבת בשמו; הוא לא משלב בין השתיים.

  • ההתאמה הארוכה ביותר קובעת

    בתוך קבוצה, כלל ה-Allow או ה-Disallow עם הנתיב התואם הארוך ביותר קובע, ובמקרה של תיקו Allow גובר. * תואם כל רצף של תווים, ו-$ מסמן את סוף הכתובת.

  • הדף שלך ו-Googlebot

    האם Googlebot רשאי לסרוק את הכתובת המדויקת שהזנת, לפי הכללים שחלים עליו.

  • חסימה של כל האתר

    האם כל הזחלנים מתבקשים להתרחק מהאתר כולו.

  • זחלני AI

    האם הכללים שלך חוסמים או מתירים את GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider ו-Meta-ExternalAgent.

  • שורות Sitemap

    כל שורת Sitemap: בקובץ, כדי שאפשר יהיה לוודא שהזחלנים מופנים למפת האתר הנכונה.

מה הכלי לא יכול לבדוק

  • לאכוף משהו. robots.txt הוא בקשה שזחלנים מנומסים מכבדים ואחרים מתעלמים ממנה. כדי לשמור על תוכן פרטי, יש להציב אותו מאחורי התחברות.
  • לומר אם דף מאונדקס. כתובת חסומה עדיין יכולה להופיע בחיפוש אם דפים אחרים מקשרים אליה.
  • להראות אילו זחלנים מבקרים באתר בפועל או באיזו תדירות. המידע הזה נמצא ביומני השרת (logs).
  • לקרוא את הקבצים במארחים אחרים, כמו תת-דומיין או CDN. לכל מארח יש robots.txt משלו.
  • לכסות כל זחלן. הרשימה כוללת זחלני AI נפוצים, ומזהי user-agent חדשים מופיעים באופן קבוע.

למה זה חשוב

קובץ robots.txt הוא הקובץ הראשון שרוב הזחלנים מבקשים, ושורה אחת יכולה לשנות את אופן הסריקה של אתר שלם. "Disallow: /" תחת "User-agent: *", שנשאר מתקופת הפיתוח, מונע ממנועי חיפוש לסרוק דבר. כלל שנועד לתיקייה אחת, כמו "Disallow: /p", חוסם גם את /products ואת /pricing, כי הכללים מותאמים לתחילת הנתיב.

לקובץ יש היום תפקיד נוסף: לומר לחברות AI איזה תוכן מותר להן לאסוף. המזהים שונים לפי מטרה. OpenAI מתעדת את GPTBot לאיסוף נתוני אימון ואת OAI-SearchBot לאיתור דפים שיוצגו בחיפוש של ChatGPT. Google-Extended קובע אם Google רשאית להשתמש בתוכן שלך עבור מודלי Gemini שלה, בלי לשנות את האופן שבו Google Search סורק. חסימה של מזהה אחד לא חוסמת את האחרים, ולכן כדאי לבדוק כל אחד מהם מול מה שהתכוונת.

קוד הסטטוס חשוב לא פחות מהתוכן. קובץ חסר (404) לא מזיק: זחלנים מפרשים אותו כהיתר לסרוק הכול. שגיאת שרת היא סיפור אחר. לפי התיעוד של Google, כש-robots.txt מחזיר שגיאת 5xx, Google מפסיקה לסרוק את האתר ל-12 השעות הראשונות, ואז משתמשת בעותק האחרון שהצליחה לקרוא למשך עד 30 יום.

איך לקרוא את התוצאות

HTTP 200
הקובץ נמצא, והכללים שמוצגים הם אלה שזחלנים מחילים.
HTTP 404 או קוד 4xx אחר
אין robots.txt, ולכן זחלנים רשאים לסרוק הכול. זה בסדר עבור אתרים רבים, כל עוד אין משהו שצריך להרחיק מהם.
HTTP 5xx
השרת לא הצליח להחזיר את הקובץ. Google משהה את הסריקה כל עוד זה נמשך, ולכן יש לתקן קודם את שגיאת השרת.
Googlebot: מורשה או חסום (allowed / blocked)
האם Googlebot רשאי להוריד את הכתובת שהזנת, לפי הקבוצה שלו אם יש כזו בקובץ, ואחרת לפי קבוצת *.
כל האתר חסום
כל הזחלנים מתבקשים לא לסרוק אף נתיב. צפוי באתר staging; כמעט תמיד טעות באתר חי.
זחלני AI: חסום או מורשה (blocked / allowed)
מה הכללים שלך אומרים לכל מזהה. "מורשה" (allowed) כולל גם מצב שבו אין שום כלל עבור הזחלן הזה.
מפות אתר שמופיעות
כתובות מפות האתר מהקובץ. כל אחת צריכה להיות כתובת URL מלאה שמחזירה מפת אתר XML תקינה.

איך לתקן את הבעיות הנפוצות ביותר

  • כל האתר חסום

    יש להסיר את "Disallow: /" מקבוצת "User-agent: *", או להשאיר את שורת ה-Disallow ריקה כדי להתיר הכול. אם הפלטפורמה מייצרת את הקובץ, כדאי לבדוק את הגדרות החשיפה למנועי חיפוש ואת תבנית ה-robots.txt, אם יש; ב-Shopify זה הקובץ robots.txt.liquid בקוד ערכת העיצוב.

  • כלל שחוסם יותר ממה שהתכוונת

    הכללים מותאמים לתחילת הנתיב. כדאי לסיים כללי תיקיות בלוכסן (Disallow: /private/) ולהשתמש ב-$ כדי להתאים סיומת מדויקת (Disallow: /*.pdf$). אחר כך יש לבדוק שוב את הכתובות שחשובות לך.

  • Googlebot מתעלם מכללי ה-* שלך

    כשבקובץ יש קבוצת "User-agent: Googlebot", Googlebot פועל רק לפי הקבוצה הזו. יש להעתיק לקבוצה שלו כל כלל שרוצים ש-Googlebot ימשיך לכבד.

  • יציאה מאימון AI תוך הישארות בחיפוש

    יש להוסיף קבוצה לכל זחלן אימון, למשל "User-agent: GPTBot" ואחריו "Disallow: /", ולעשות אותו דבר עבור ClaudeBot, CCBot, Google-Extended ו-Applebot-Extended. את Googlebot ו-Bingbot משאירים כמו שהם. לגבי OAI-SearchBot, Claude-SearchBot ו-PerplexityBot כדאי להחליט בנפרד, כי הם עוזרים לדפים שלך להופיע בתשובות החיפוש של השירותים האלה.

  • שימוש ב-robots.txt להסרת דפים מ-Google

    Disallow עוצר סריקה, לא אינדוקס. כדי להשאיר דף מחוץ לחיפוש, יש להתיר סריקה ולהוסיף <meta name="robots" content="noindex">, או להחזיר 404 או 410 אם הדף כבר לא קיים. הכלי Removals ב-Search Console מסתיר כתובת באופן זמני במקרים דחופים.

שאלות על הכלי

האם robots.txt מונע מחברות AI להשתמש בתוכן שלי?

רק אצל זחלנים שבוחרים לכבד אותו, ורק מהפעם הבאה שהם סורקים. הוא לא מסיר תוכן שנאסף לפני שהוספת את הכלל.

האם חסימת Google-Extended תוציא את האתר שלי מ-Google Search?

לא. לפי Google, Google-Extended לא משפיע על ההכללה או על הדירוג ב-Google Search. הוא קובע רק אם Google רשאית להשתמש בתוכן שלך עבור מודלי Gemini שלה; Googlebot ממשיך לסרוק כמו קודם.

האם היעדר robots.txt הוא בעיה?

לא. אם /robots.txt מחזיר 404, זחלנים מניחים שמותר להם לסרוק הכול. כדאי להוסיף קובץ כשצריך להרחיק זחלנים מאזורים כמו תוצאות חיפוש פנימיות, או כדי להפנות אותם למפת האתר.

אפשר להסתיר דפים פרטיים באמצעות robots.txt?

לא. הקובץ ציבורי, כך שרישום נתיבים פרטיים בו רק מפרסם אותם. על דפים פרטיים מגינים באמצעות התחברות, ולדפים ציבוריים שצריכים להישאר מחוץ לחיפוש משתמשים ב-noindex.

כמה מהר Google מבחינה בשינוי?

Google שומרת בדרך כלל את robots.txt במטמון עד 24 שעות, כך ששינוי יכול לקחת בערך יום עד שייכנס לתוקף. דוח robots.txt ב-Search Console מציג את הגרסה ש-Google הורידה לאחרונה.

מקורות

כלים קשורים

דוח תיקוני SEO ($69, תשלום חד-פעמי) מתחיל מהסריקה החינמית המלאה ומוסיף עוד עמודים, את השינוי שצריך לבצע לכל ממצא, קובץ PDF ובדיקות חוזרות לאימות התיקונים.

מידע על דוח תיקוני SEO