Googlebot – הבוט של גוגל ״גוגלבוט״
מהו Googlebot?
Googlebot הוא השם שניתן לסורקי הרשת של גוגל, האוספים מידע עבור שירותים שונים של גוגל, כולל אינדקס החיפוש שלהם.
ל-Googlebot יש שני גרסאות עיקריות: Googlebot Desktop ו-Googlebot Smartphone. עם המעבר לאינדוקס מבוסס מובייל, Googlebot Smartphone הפך להיות הסורק העיקרי שמניע את אינדקס החיפוש של גוגל.
איך עובד Googlebot?
Googlebot סורק את הרשת באופן מתמיד כדי לגלות דפים חדשים, שולח את הדפים לעיבוד כדי להוסיף אותם לאינדקס החיפוש, וסורק מחדש דפים כדי לחפש מידע חדש או מעודכן.
במהלך תהליך זה, Googlebot מקפיד לעקוב אחר הכללים בקובצי robots.txt והנחיות הסורקים בדפים ובקישורים.
למה Googlebot חשוב?
הבוט של גוגל הוא אחד הכלים המרכזיים שמניעים את מנוע החיפוש של גוגל כולו. בלעדיו, כל מערכת החיפוש (ומכאן גם SEO) לא הייתה קיימת. אם Googlebot לא היה סורק אתר, הוא לא היה נכנס לאינדקס ולא היה נראה בתוצאות החיפוש.
לכן, על אנשי SEO ומנהלי אתרים להבין כיצד פועל Googlebot. בנוסף, חשוב לוודא שהסורק ניגש לאתר בצורה נכונה, ללא בעיות סריקה או גילוי.
שיטות עבודה מומלצות לאתר ידידותי לסריקה
אם אתם רוצים ש-Googlebot יסרוק את האתר שלכם בצורה נכונה ויאנדקס את הדפים, עליכם לוודא שדברים מסוימים קיימים במקום. מכיוון שזו לא פעולה חד פעמית, להלן כמה שיטות עבודה מומלצות שיש לעקוב אחריהן באופן קבוע כדי לשמור על אתר ידידותי לסריקה.
- בדקו את קובץ robots.txt שלכם –
קובץ robots.txt באתר מאפשר לכם לשלוט על מה נסרק. הוא מתקשר עם הבוטים באמצעות הנחיות סורקים. עליכם לוודא שקובץ robots.txt שלכם לא חוסם את Googlebot מלסרוק את הדפים/החלקים באתר שלכם שאתם רוצים שיאונדקסו.
לאחר מכן, חפשו שגיאות בקובץ באמצעות כלים לבדיקת robots.txt.
יש לוודא שקובץ robots.txt נגיש ל-Googlebot, כלומר שהוא לא חסום ברמת השרת.
googlebot | מה זה? | מהו גוגל בוט? | seo-up
- הגישו מפת אתר –
הגשת מפת אתר היא הדרך הפשוטה ביותר ליידע את גוגל אילו דפים אתם רוצים שיסרקו ויאונדקסו. יצירת מפת אתר אינה מסובכת אם אתם משתמשים בכל תוסף SEO פופולרי ב-WordPress, כמו Yoast או Rank Math. הם ייצרו באופן אוטומטי מפות אתר עבורכם, אותן תוכלו להגיש.
כתובת ה-URL שנוצרת תיראה כך: sitename.co.il/sitemap_index.html
כדי להגיש את כתובת ה-URL של מפת האתר ידנית, עליכם לבקר ב-Google Search Console וללחוץ על "Sitemaps" תחת הסעיף "Index" בתפריט הראשי.
- השתמשו בהנחיות סורקים בחוכמה –
בנוסף לקובץ robots.txt, ישנן הנחיות ברמת הדף שמיידעות את הסורקים אילו דפים מותרים (או לא מותרים) לסריקה, לכן, עליכם לוודא שהדפים שאתם רוצים שיאונדקסו אינם מכילים הנחיית "noindex". באופן דומה, וודאו שהם לא מכילים הנחיית "nofollow" אם אתם רוצים שהקישורים היוצאים מהם ייסרקו גם הם. - ספקו קישורים פנימיים בין דפים
דרך פשוטה נוספת לעזור לדף להתאנדקס מהר יותר היא על ידי קישורו לדף אחר שכבר נמצא באינדקס. מכיוון ש-Googlebot סורק מחדש דפים, הוא ימצא את הקישור הפנימי וייסרוק אותו במהירות, מלבד הסריקה, קישור פנימי מעביר את מה שנקרא "מיץ קישורים" לדפים, מה שמעלה את דירוג הדף. >> קראו כאן על קישורים פנימיים
ניתן למצוא עוד מושגים וערכים מעניינים בעולם הקידום בעמוד מילון המונחים ל seo באתר.
