קובץ robots.txt

מה זה קובץ robots.txt?

קובץ robots.txt הוא קובץ טקסט פשוט שנמצא בתיקייה הראשית של האתר שלכם (את הקובץ שמים בתיקייה הראשית).
מטרתו של הקובץ הוא לספק הנחיות לכל זחלני הרשת והרובוטים השונים שמבקרים באתר שלכם.
ההנחיות נועדו להורות לרובוטים, לאיזה חלקים באתר הם מורשים להגיע ולאילו לא.
ההנחיות בקובץ נרשמות על פי תקן לא רשמי המכונה Robots Exclusion Protocol, המקובל על קהילת האינטרנט.
חשוב לציין שקובץ robots.txt לא מונע מרובוטים ומנועי חיפוש לסרוק את האתר שלכם. הוא רק יכול לסייע לכם להגן על האתר שלכם מפני סריקה מיותרת ומשפיע על האופן שבו מנועי חיפוש מקיימים אינטראקציה עם האתר שלכם (בתנאי שהרובוטים השונים מצייתים להנחיות).
אם אתם רוצים לראות קובץ robots.txt של אתר מסוים, אתם רק צריכים לרשום את שם הדומיין ולאחריו את robots.txt כמו לדוגמה https://www.new-seo.co.il/robots.txt מציג את קובץ הרובוטס של האתר שלי.

איך ומתי משתמשים בקובץ?

ההנחיות בקובץ robots.txt כתובות בשפה טקסטואלית פשוטה, ללא כל סימני פיסוק או רווחים מיותרים. כל הנחיה חייבת להתחיל בשורת חדשה, והיא חייבת להיות מורכבת משני חלקים:

1. שם ההנחיה: זהו שם ההנחיה, כפי שהוא מוגדר בתקן robots.txt.
2. ערך ההנחיה: זהו הערך של ההנחיה, כגון כתובת URL או מספר שניות.

ההנחיות משמשות למטרות הבאות:

• למנוע ממנועי חיפוש לסרוק קבצים או תיקיות מסוימים.
• להורות למנועי חיפוש לסרוק קבצים או תיקיות במהירות איטית יותר.
• לספק מידע למנועי חיפוש על מפת האתר שלכם.

ההנחיות בקובץ robots.txt

שתי ההוראות עיקריות שמשתמשים בהם בקובץ robots.txt הן:

1. Disallow: הנחיה זו אוסרת על מנועי חיפוש לסרוק קבצים או תיקיות מסוימים.
2. Allow: הנחיה זו מאפשרת למנועי חיפוש לגשת לקבצים או תיקיות מסוימים.

מלבד הוראות אלו, ישנן כמה הוראות נוספות שניתן להשתמש בהן כדי להשפיע על האופן שבו מנועי חיפוש מקיימים אינטראקציה עם האתר שלכם:

• Sitemap: הנחיה זו מספקת מידע למנועי חיפוש על מפת האתר שלכם.
• User-agent: הנחיה זו מאפשרת לכם להגדיר הנחיות ספציפיות עבור סוגים מסוימים של בוטים.
• Crawl-delay: הנחיה זו מאפשרת לכם להורות למנועי חיפוש לסרוק את האתר שלכם במהירות איטית יותר.

דוגמאות כתיבה להנחיות השונות

הנחיית Disallow

הנחיית Disallow אוסרת על מנועי חיפוש לסרוק קבצים או תיקיות מסוימים ויכולה לשמש למגוון מטרות, כגון:

• הגנה על תוכן פרטי או רגיש.
• מניעת סריקה של דפים שבורים או לא מעודכנים.
• עיכוב סריקה של דפים כבדים.

ההנחיה נכתבת בצורה הבאה:

Disallow: [כתובת URL]

כתובת ה-URL יכולה להיות כתובת URL ספציפית, או קידומת URL. לדוגמה, ההנחיה הבאה אוסרת על מנועי חיפוש לסרוק את התיקייה /wp-admin/:

Disallow: /wp-admin/

ההנחיה הבאה אוסרת על מנועי חיפוש לסרוק את כל התיקיות שמתחילות ב-/personal/:

Disallow: /personal/

ניתן גם להשתמש בהנחיית Disallow כדי למנוע ממנועי חיפוש לסרוק דפי אינטרנט מסוימים. לדוגמה, ההנחיה הבאה אוסרת על מנועי חיפוש לסרוק את הדף /privet-page.html:

Disallow: /privet-page.html

הנחיית Allow

הנחיית Allow יכולה לשמש למגוון מטרות, כגון:

לאפשר למנועי חיפוש לגשת לתוכן פרטי או רגיש, כגון דפי ניהול או דפי רכישה.
להורות למנועי חיפוש לסרוק דפים שבורים או לא מעודכנים, כדי שיוכלו לעדכן אותם.
לאפשר למנועי חיפוש לגשת לדפים כבדים, כדי שייכללו בתוצאות החיפוש.

הנחיה המאפשרת למנועי חיפוש לגשת לכל הדפים באתר שלכם

Allow: /

הנחיה המאפשרת למנועי חיפוש לגשת לכל הדפים בתיקייה ספציפית

Allow: /my-directory/

הנחיה המאפשרת למנועי חיפוש לגשת לכל הדפים ש their-name הוא שם המשתמש של הרובוט

User-agent: their-name
Allow: /

הנחיה המאפשרת לרובוטים ששמם הוא their-name, לזחול רק לדפים שמתחילים ב-/my-directory/

User-agent: their-name
Allow: /my-directory/
Disallow: /

הנחיית User-agent

הנחיית User-agent מאפשרת לכם להגדיר הנחיות ספציפיות עבור סוגים מסוימים של בוטים.
שם הבוט הוא מזהה ייחודי של הרובוט. מנועי חיפוש שונים משתמשים בשמות משתמש שונים עבור הבוטים שלהם. לדוגמה, גוגל משתמשת בשמות משתמש כגון "Googlebot" ו-"Googlebot-Image".
לאחר שציינתם את שם הבוט, תוכלו להוסיף הנחיות נוספות עבור הרובוט הזה. לדוגמה, אתם יכולים להשתמש בהנחיית Disallow כדי למנוע מהרובוט לסרוק קבצים או תיקיות מסוימים, או להשתמש בהנחיית Allow כדי לאפשר לרובוט לגשת לקבצים או תיקיות מסוימים.

דוגמאות לשמות בוטים נפוצים:

• Bingbot
• Yahoo! Slurp
• Facebookbot
• Twitterbot
• LinkedInbot
• Google Analytics
• Matomo
• Piwik

דוגמאות להנחיית User-agent:

הנחיה שנועדה למנוע מ-Googlebot לסרוק את התיקייה /wp-admin/:

User-agent: Googlebot
Disallow: /wp-admin/

הנחיה שמטרתה לאפשר ל-Googlebot-Image לגשת לכל התיקיות שמתחילות ב-/images/

User-agent: Googlebot-Image
Allow: /images/

הנחיה שמטרתה למנוע מכל הבוטים לסרוק את האתר שלכם (כוכבית מציין את כול הרובוטים)

User-agent: *
Disallow: /

הנחיית Sitemap

הנחיית Sitemap מורה למנועי חיפוש לסרוק את מפת האתר שלכם ומציינת למנוע החיפוש היכן מפת האתר נמצאת.
כדי לכתוב הנחיית Sitemap, עליכם לדעת את כתובת ה-URL של מפת האתר שלכם.

Sitemap: [כתובת URL של מפת האתר]

הנחיה המורה למנועי חיפוש לסרוק את מפת האתר שנמצאת בתיקייה /sitemaps/

Sitemap: /sitemaps/sitemap.xml

הנחיה המורה למנועי חיפוש לסרוק את מפת האתר שנמצאת בשרתי אחסון CDN:

Sitemap: https://cdn.example.com/sitemap.xml

הנחיית Crawl-delay

הנחיית Crawl-delay מאפשרת לכם להגדיר את מרווח הזמן בשניות שיבוצע בין סריקה של שתי דפי אינטרנט באתר שלכם.
לדוגמה, אם תגדירו את הערך ל-10, מנועי חיפוש יסרקו דף אחד בכל 10 שניות.
חשוב לציין, כי ההנחיה הזו מתאימה לשימוש רק באתרים גדולים עם עומס גלישה גבוה.

הנחיית Crawl-delay יכולה לשמש למגוון מטרות, כגון:

• להגן על אתרים גדולים מפני עומס יתר. אם האתר שלכם גדול מאוד, מנועי חיפוש עשויים לסרוק אותו במהירות גבוהה מדי, שעלולה לגרום לעומס יתר על השרת שלכם. הנחיית Crawl-delay יכולה לעזור להאט את קצב הסריקה של מנועי חיפוש ולהגן על השרת שלכם.
• להבטיח שכל הדפים באתר שלכם ייסרקו באופן שווה. אם אתם משתמשים בהנחיית Disallow כדי למנוע ממנועי חיפוש לסרוק קבצים או תיקיות מסוימים, הנחיית Crawl-delay יכולה לעזור להבטיח שכל הדפים שאינם אסורים לסריקה ייסרקו באופן שווה.

ההנחיה נכתבת בצורה הבאה:

Crawl-delay: [מספר שניות]