האם Google באמת יכול להציג את האתר שלך?

מה בעצם הקובץ הזה

לכל אתר יש, או היה צריך להיות, קובץ בשם robots.txt. אתה מוצא אותו על ידי הקלדת /robots.txt אחרי שם התחום שלך, למשל uvebusiness.nl/robots.txt. קובץ זה הוא הראשון שGoogle קורא לפני שהוא בוחן את האתר שלך. הוא כתוב בטקסט רגיל ואומר למנועי חיפוש אילו חלקים של האתר הם יכולים ולא יכולים לבקר בהם.

אתה יכול להשוות את זה לשלט בכניסה לבניין. כמה דלתות פתוחות, אחרות סגורות עם פתק פשוט. הבעיה היא שחברות לפעמים תולות בטעות את הפתק הלא נכון. במקום לסגור דלת אחורית אחת, הן סוגרות את כל הבניין לפני מבקרים, כולל החדרים החשובים ביותר.

בנוסף לנתיבים שמותר או אסור לבקר בהם, זה גם עוסק בהיבט עדין יותר: הקבצים המרכיבים את העמוד. חשוב על CSS, שדואג לעיצוב, וJavaScript, שדואג לתנועה ותיקשורת בעמוד. אם robots.txt חוסם את הקבצים האלה, Google יכול לבקר בעמוד, אך לא יכול לראות אותו כהלכה. אז Google רואה גרסה עירומה ושבורה של האתר שלך.

זה קשור קשר הדוק לנקודת בדיקה נוספת: האם התוכן הליבה שלך זמין גם ללא JavaScript, כפי שהוא מוסבר בתוכן הליבה נגיש ללא JavaScript. שתי הנקודות עוסקות באותו שאלה: האם Google יכול להציג את הדף שלך כמו מבקר, או שGoogle מקבל תמונה לא שלמה שמניבה ניקוד גרוע.

למה זה יותר מפרט טכני בלבד

Google משתמש בתהליך שנקרא rendering: מנוע החיפוש בעצם בונה מחדש את העמוד שלך, בדיוק כמו שדפדפן עושה זאת, כדי לראות מה המבקר באמת רואה. זה יכול להתרחש רק אם Google רשאי להשתמש בכל החלקים הדרושים לכך. אם CSS או JavaScript חסומים, Google רואה עמוד עירום ללא עיצוב, ללא תפריט, לפעמים ללא הטקסט שנטען עם סקריפטים.

התוצאה היא שGoogle מעריך בצורה שגויה על מה העמוד שלך עוסק. עמוד שנראה טוב למבקרים יכול להיראות בלבול או ריק לGoogle. זה לא עניין של קבלת ניקוד רק קצת פחות טוב. זה עניין של לא להיכלל בתוצאות, בעוד שלא עשית שום דבר לא נכון בתוכן עצמו.

יש הבדל בין עמוד שלא קיים לבין עמוד שקיים אך הפך לבלתי נגיש. זה גם נוגע לנקודות אחרות ברשימת המדידה שלנו, כגון השאלה האם דף מחוק מחזיר בצורה נכונה מצב 404, כפי שאנו דנים בעמוד 404 עצמו הוא מועיל. בשני המקרים, זה עוסק בבהירות: הראה ל-Google מה מתכוון להיות מצוי וכמה מכן לא.

איך אתה בודק בעצמך אם הכל בסדר

הקלד את שם התחום שלך ואחריו /robots.txt בשורת הכתובת של הדפדפן שלך. רשימה פשוטה של כללים מופיעה, בדרך כלל עם מילים כמו 'Disallow' ואחריה נתיב. Disallow פירושו: לא ניתן לבקר בנתיב זה. בדוק אם משהו שם שלא צפית, כמו קו косого בלבד, שפירושו שכל האתר סגור.

שימו לב במיוחד לכללים המתייחסים לתיקיות בשמות כמו /wp-content/, /assets/, /css/ או /js/. אלו לעתים קרובות בדיוק התיקיות שבהן העיצוב והתיקשורת של האתר שלך מאוחסנים. אם הם חסומים, סביר להניח שGoogle לא יכול לרנדר את הדפים שלך כראוי, גם אם שאר הקובץ נראה חזק.

Google Search Console, שירות חינם של Google לבעלי אתרים, מכיל בדיקה שבאמצעותה תוכל לבדוק דף ספציפי לבעיות rendering. אתה רואה שם דוגמה של איך Google תופס את העמוד שלך. אם זה נראה עירום או שבור בעוד שהעמוד בדפדפן שלך נראה טוב, זה אות ברור שמשהו השתבש בעומס של CSS, JavaScript או תמונות.

אם אתם מטילים ספק בשאלה האם נתיב מסוים הוצא בכוונה או בשכחה, היעמדו בקשר עם מי שבנה את האתר שלכם. חלק מהחסימות הן בכוונה ותבונות, כמו סגירת תוצאת חיפוש פנימית, דבר שעליו אנו מרחיבים בנפרד בדפי תוצאות חיפוש פנימיות עם noindex. חסימות אחרות הן פשוט שגיאות מהגדרת ברירת מחדל שמעולם לא נבדקה.

כמה זה עולה אם זה לא בסדר

אם robots.txt חוסם נתיבים חשובים, אתם סוגרים בלי להבחין בחלקים של האתר שלכם מפני Google. זה יכול להיות דפי מוצרים, כתבות בבלוג, או אפילו כל האתר לאחר מעבר למערכת חדשה. זה קורה לעתים קרובות יותר ממה שאנשים חושבים, במיוחד לאחר חידוש אתר, שבו הגדרה שהייתה מיועדת לסביבת בדיקה נשארת בטעות באתר האמיתי.

הדברים הסכנוניים הם שאתם לא מבחינים בזה בשימוש היומיומי שלכם באתר. הדפים פשוט נטענים, מבקרים שמקבלים את הקישור ישירות יכולים עדיין להגיע לשם. רק התנועה דרך מנועי חיפוש מתייבש לאט, ללא סיבה ברורה. הרבה יזמים מחפשים אז את הגורם בתוכן או בתחרות, בעוד שהבעיה נמצאת בקובץ טכני שהם עדיין מעולם לא פתחו.

כאשר רק CSS וJavaScript חסומים, ההשפעה עדינה יותר אך לא פחות מזיקה. הדפים שלכם נשארים ניתנים לגילוי, אך Google מעריכה אותם על בסיס תמונה לא שלמה. טקסט שנטען על ידי סקריפט אז אולי לא יספר. דף שנראה לכם מצוין, מוערך על ידי Google כחסר בתוכן, עם כל ההשלכות על המיקום שלכם בתוצאות החיפוש.

תיקון הוא בדרך כלל לא עניין של חודשי עבודה. לעתים קרובות מדובר בשינוי של כמה שורות בקובץ. העניין הוא שעליכם להכיר תחילה בבעיה. ללא בדיקה, חסימה מישה כמעט ללא שינוי במשך שנים, פשוט כי איש לא הסתכל בה שוב לאחר שהאתר הותאם לאחרונה.

מה שצריך לקרות כדי שזה יהיה בסדר

נקודת המוצא היא פשוטה: robots.txt יכול לחסום רק נתיבים שברצונכם בכוונה להוציא, כמו דף התחברות למנהלים או עגלת קניות שכל מקום לא צריך להופיע בתוצאות חיפוש. כל מה שתורם לאיך שהדף נראה או עובד חייב להישאר נגיש. זה כל העיקרון מאחורי נקודת בדיקה זו: לא לסגור מדברים מזהירות, אלא לחסום בעדינות שבה זה הכרחי.

תן למשהו לבדוק את הקובץ הזה כחלק מסקירה רחבה יותר של מה שצריך ומה לא צריך להיות באינדקס. סקירה זו, מטריצת אינדקסציה לסוג דף, מתארת איזה דפים צריכים להיות גלויים ל-Google ואילו בכוונה לא, כפי שאנו מסבירים בטבלת אינדקסציה לסוג דף. Robots.txt הוא אז הכלי שבו עם הבחירות הללו מבוצעות, לא המקום שבו הבחירות הללו מחושבות.

בדוק קובץ זה לא רק בזמן בניית האתר, אלא גם לאחר כל שינוי גדול: מעבר למערכת אחרת, בונה אתר חדש, או מבנה מחדש של האתר. אלה בדיוק הרגעים שבהם הגדרות מונעות בטעות מסביבת בדיקה. בדיקה קצרה לאחרון מונעת הגדרה זמנית שתהיה קבועה.

זכור גם ש-robots.txt לא עומד בפני עצמו. הוא קשור קשר הדוק לאותות אחרים שאתם נותנים ל-Google, כמו ההוראה ברמת דף דרך תג noindex, עליו יותר בـ noindex via meta robots או ה-X-Robots-Tag. שניהם לא צריכים לסתור זה את זה. דף שאתם רוצים להראות לא צריך להיפתח דרך ערוץ אחד ועדיין להיות חסום דרך ערוץ אחר.