למה האתר שלי לא מופיע בגוגל?

אנשים שואלים אותי "למה האתר שלי לא מופיע בגוגל?".
והשאלה שבאה מיד לאחר מכן היא כמובן "מה אני יכול לעשות בכדי שגוגל יכיר את האתר שלי?"
המטרה בפוסט זה' היא להציג את הסיבות הנפוצות לכך שאתר לא מופיע בגוגל, כיצד מאבחנים מצב כזה וכיצד פותרים אותו.

כיצד מאבחנים אם האתר או דף באתר מופיעים באינדקס של גוגל?

פעמים רבות, אנשים חושבים בטעות שהאתר שלהם לא מופיע בגוגל, משום שהם מחפשים אותו בשם העסק, כאשר שם העסק כלל לא מצוין באופן ברור באתר או בביטויי מפתח תחרותיים מידי שאין סיכוי שגוגל יציג את האתר באותם הביטויים התחרותיים.
הופעה של דף או אתר בגוגל נקראת אינדוקס בז'רגון המקצועי של אנשי SEO. זאת אומרת, כאשר דף מופיע בתוצאות החיפוש של גוגל זה אומר שהדף מאונדקס בגוגל.
לכן, לפני שאתה שאתה שואל "למה האתר שלי לא מופיע בגוגל?" יש כמה בדיקות מהירות שאתה יכול לבצע בכדי לראות אם האתר שלך אכן מופיע בגוגל.

כיצד לבדוק אם האתר מופיע בגוגל

בכדי לבדוק אם האתר עצמו מופיע בגוגל, רשום בגוגל את הפקודה site: ולאחר מכן, כתוב את כתובת האתר או העמוד אותם אתה רוצה לבדוק.
להלן סרטון שמראה כיצד לבדוק אם אתר או עמוד באתר מופיעים בגוגל:

הגדר את האתר שלך בגוגל סרצ' קונסול

גוגל סרץ קונסול (google search console) הוא כלי שמאפשר לך לראות מה מצב האתר, לצפות בנתוני הגלישה של המבקרים באתר ולראות אם האתר או דפים מסוימים נמצאים באינדקס של גוגל ועבור אילו ביטויי חיפוש.
לכן, כדאי מאוד שתאמת את האתר שלך בגוגל סרץ קונסול.
לאחר שתאמת את האתר שלך לסרצ קונסול, תוכל לראות אם דפים מסוים באתר שלך נמצאים באינדקס של גוגל וגם תוכל לצפות בדוח של דפים לא מאונדקסים והסיבות לאי האינדוקס שלהם. בתפריט הצדדי בחר בדפים ותראה איזה דפים לא מאונדקסים בגוגל ומה הסיבה לכך שהם לא מאונדקסים.

בדיקת אינדוקס של דף מסוים באתר בעזרת הסרץ' קונסול

סיבות שכיחות לכך שהאתר לא מופיע בגוגל

• האתר שלך לא מופיע כי הוא חדש וגוגל עדיין לא אינדקס את האתר שלך.
• האתר שלך לא מופיע בביטויים שאתה מצפה כי הוא לא מספיק רלוונטי או סמכותי
• הזחלן של גוגל נחסם באתר שלך באמצעות קובץ של robots.txt
• הוגדר תג “noindex” עבור כל האתר או עבור דף מסוים באתר (בדרך כלל, קורה באתרי וורדפרס).
• האתר שלך נענש על ידי גוגל
• בעיה טכנית באתר שמונעת מגוגל לזחול ולאנדקס את האתר שלך.

אתר חדש שגוגל עדיין לא אינדקס

"למה האתר שלי לא מופיע בגוגל" זו אחת השאלות הנפוצות של בעלי אתרים חדשים שבונים אתר מושקע אך לא מוצאים את האתר שלהם בגוגל.
אחת הסיבות הנפוצות לכך שהאתר לא מופיע בגוגל, היא משום שגוגל עדיין לא אינדקס את האתר.
אינדוקס בגוגל הוא תהליך שבו גוגל אוגר ומאחסן מידע על דפים באינטרנט. המידע הזה כולל את התוכן של הדף, את הכותרת שלו, את המטא-נתונים שלו, וכן את הקישורים שיוצאים ממנו ומגיעים אליו.
הפתרון:
הדרך המהירה ביותר לאנדקס אתר חדש, היא באמצעות גוגל סרץ קונסול.
אם באתר שלך יש מפת אתר xml, כדאי שתגיש אותה בעזרת גוגל סרץ קונסול וההגשה תסייע לאנדקס את האתר שלך במהירות.
סרטון הדרכה להגשת מפת אתר באמצעות גוגל סרץ קונסול

האתר מאונדקס בגוגל, אך לא בביטויים שאתה מצפה שיופיע

נניח לרגע שאתה אינסטלטור, הקמת אתר ואתה מצפה לראות את האתר בתוצאות החיפוש של גוגל כאשר אתה מחפש "אינסטלטור בתל אביב".
אם האתר שלך חדש, רוב הסיכויים שאתה לא תראה את האתר שלך בגוגל בביטוי הזה, למרות שהוא מאונדקס בגוגל.
אגב, גם אתרים וותיקים עשויים שלא להופיע בגוגל עבור ביטוי כמו "אינסטלטור בתל אביב".
הסיבה לכך היא משום שגוגל בררני מאוד בהצגת אתרים או דפים בדף תוצאות החיפוש.
המטרה של גוגל היא להציג רק את התוצאות המתאימות ביותר לגולש.
לכן, אתה צריך לשאול את עצמך, איזה ערך מוסף יש לאתר שלי על פני אתרים אחרים?
גוגל מדרג אתרים על פי פרמטרים שונים כמו: איכות התוכן, מקוריות, קישורים חיצוניים לאתר ופרמטרים נוספים לדירוג אתרים בגוגל.
אם האתר שלך לא מופיע בגוגל, עבור הביטויים שאתה רוצה שיופיע, אתה צריך לקדם אותו. העזר במדריך לקידום אתרים שכתבתי בכדי לשפר את הדרוג של האתר שלך בגוגל.

הזחלן של גוגל נחסם באתר שלך באמצעות קובץ robots.txt

קובץ robots.txt הוא קובץ טקסט באתר המשמש בכדי להנחות את הזחלן של גוגל (Googlebot) כיצד לסרוק את האתר, איזה חלקים באתר לסרוק ואילו לא.
אם בטעות חסמת דף או תיקייה באתר המכילה דפים חשובים, הזחלן של גוגל לא יאנדקס אותם.
כך נראה לדוגמה קובץ robots.txt של האתר של רשת 13.
שורות עם המונח Disallow מנחות את גוגלבוט שלא לסרוק את התיקייה או הדף.
שורות עם המונח Allow מאפשרות לזחלן לסרוק
ושורות עם Sitemap מציגות לזחלן את מפות האתר XML (זו דרך נוספת להגיש לגוגל את מפת האתר)
בדוק שלא חסמת בטעות דפים או תיקיות חשובות באתר.

קובץ robots.txt של אתר רשת 13

האתר או דפים באתר מוגדרים כ-Noindex או קנוניקל

אם האתר שלך או דף באתר הוגדרו כ-Noindex, גוגל לא יאנדקס את הדף או האתר.
הערך של noindex הוא תג מטא רובוטים שמטרתו להורות לגוגל ולמנועי חיפוש נוספים שלא לאנדקס את הדף.
בכדי לבדוק אם הדף מוגדר כ-Noindex אתה צריך ללחוץ קליק ימני על העכבר ואז לבחור באפשרות של "הצגת מקור הדף".
לאחר מכן, בקוד המקור לחץ CTRL+F או CMD+F וחפש את המילה "noindex". אם לא מופיע דבר זה סימן שהדף מאפשר אינדוקס.
כך קוד המקור נראה כאשר יש הוראת noindex

כך קוד המקור נראה כאשר הדף עם index

לא פעם, נתקלתי במקרים שבהם הייתה הוראה שלא לאנדקס את כל האתר.
זה קרה בעיקר באתרי וורדפרס, כאשר בונה האתר הפעיל noindex על כל האתר בזמן שהוא מפתח אותו ולאחר מכן, בעת הגשת האתר ללקוח, הוא שכח לכבות את האפשרות של noindex על כל האתר.
על מנת לבדוק שאין noindex כזה על האתר הוורדפרס שלכם, גשו בתפריט הניהול של האתר אל הגדרות > קריאה וודאו שהאפשרות "לבקש ממנועי חיפוש לא לאנדקס את האתר" איננה מסומנת עבור השדה "נראות במנועי חיפוש".

הגדרה נוספת שעשויה למנוע מהאתר שלך להתאנדקס היא הגדרת קנוניקל (canonical).
תג קנוניקל (canonical) בתחום ה-SEO, משמש בכדי לציין כתובת של דף הנחשב כגרסה המועדפת.
מדובר במקרים שבהם יש מספר דפים זהים ובכדי להימנע ממצב של תוכן משוכפל, מציינים את כתובת הדף שאותו רוצים שגוגל יאנדקס.
אם רשומה כתובת דף אחרת בדף שלכם, רוב הסיכויים שגוגל לא יאנדקס את הדף.
דוגמה לדף שהכתובת הקנונית שלו זהה. אם כתובת הקנוניקל היתה שונה מזו של הדף, גוגל לא היה מאנדקס את הדף.

האתר שלך נענש על ידי גוגל

אם האתר שלך הופיע בעבר בגוגל וכעת הוא לא מופיע, כדאי שתבדוק שזה אכן המקרה באמצעות חיפוש site: עם שם הדומיין שלך.
אם האתר הוסר מהאינדקס, והפקודה site: לא מציגה שום תוצאות מהאתר, יש לך בעיה.
בכדי לטפל בבעיה, אם לא עשית את זה עד עכשיו, אתה צריך לאמת את האתר שלך בסרץ קונסול בכדי לראות אם גוגל נקטו כלפי האתר שלך במה שהם מכנים "פעולות ידניות", זאת אומרת עונש.
גוגל בדרך כלל נוהגים לדווח לבעל האתר באמצעות הסרץ קונסול על ענישה ועל הסיבות לענישה והם גם מאפשר לבעל האתר להגיש ערעור.
מצב של עונש נגרם בדרך כלל בגלל קישורי ספאם, תוכן מועתק וגם במקרים שהאתר נפרץ על ידי האקרים ששותלים בו תוכן שלילי.
ברגע שאתה מטפל בבעיות שגרמו לענישה, גוגל מסירים את הענישה ומחזירים את האתר לאינדקס.
במצב של ענישה כדאי להסתייע במקדם אתרים מקצועי שיטפל בבעיה.

מה לעשות כאשר יש בעיה טכנית באתר?

אם אתה לא איש SEO מקצועי, זה כמעט בלתי אפשרי לפתור בעיות טכניות באתר שמונעות אינדוקס של גוגל.
יש לא מעט אתרי אינטרנט שנבנים בצורה גרועה על פלטפורמות שאינן ידידותיות למנועי חיפוש ורק איש SEO טכני מקצועי ומיומן יכול לתת פתרון לבעיות.
בעיות טכניות יכולות לגרום לגוגל שלא לאנדקס את האתר או שגוגל יבין את תוכן האתר באופן לא רצוי.
אתרים שלא בנויים בצורה ידידותית לגוגל, לא יופיעו בגוגל או שהדרוג שלהם יהיה מאוד נמוך והם יפספסו את כל התנועה האורגנית היקרה שמגיעה מגוגל.
אם אתה חושב שהאתר שלך סובל מבעיה טכנית שמונעת מגוגל להעניק לו דרוג טוב, דבר איתי.