ההמלצה הרווחת בקידום אתרים בדרך כלל היא לחשוף לגוגל כמה שיותר דפים על מנת שיאנדקס אותם ויתרשם מאתר גדול ואיכותי ככל האפשר. יחד עם זאת, יש מצבים שבהם יש צורך בהסתרת דפים מסוימים באתר.
ההמלצה הרווחת בקידום אתרים בדרך כלל היא לחשוף לגוגל כמה שיותר דפים על מנת שיאנדקס אותם ויתרשם מאתר גדול ואיכותי ככל האפשר. יחד עם זאת,יש מצבים שבהם יש צורך בהסתרת דפים מסוימים מהאתר. דפים כאלה יכולים להכיל מידע “רגיש” או סודי,דפים שאונדקסו ולא היו צריכים להיכלל באתר ( למשל תוכן מוכפל,דפי לוח שנה חסרי תוכן משמעותי וכו’),דפים שאונדקסו בצורה מוטעית וכד’.
קובצי ROBOTS
אחת מהדרכים לגרום לגוגל לא להגיע לקבצים או דפים מהאתר היא ע”י קובץ רובוטס.
קובץ כזה נראה כך:
User-agent:*
Disallow: /
כשבהמשך רושמים את מה שרוצים לחסום (כתובת,ספרייה או אתר שלם).
גוגל אכן לא מאנדקס דף חסום ואף מציג תוצאה זו בכלי הניהול webmaster tool כאזור חסום ע”י robots.
החיפוש. כלומר נראה היה שגוגל מפר את הפקודה שלפיה עליו לא לאנדקס דפים אלו. על פניו נראה היה שהם צודקים – דפים אם קובץ robots.txt הופיעו בתוצאות החיפוש.עובדה בסיסית בקידום אתרים באינטרנט – מה שגוגל מציג זה מה שגוגל רואה.
לאחר בדיקה של
האם גוגל מכבד את פקודת robots.txt ?
לאחרונה נדרש מט כץ מהנדס בכיר בגוגל להתייחס להאשמות שטענו שגוגל לא מכבד את ההוראות שנותנים קובצי robots . בעקבות הטרוניות שהושמעו נבדק התפקוד של גוגל בכל הנוגע לכיבוד החסימות של קובצי robots .
בעלי אתרים או מקדמי אתרים התלוננו שלמרות שהכניסו קובץ robots לדפים מסוימים באתר, הם כן ראו אותם אח”כ בתוצאות גוגל הסתבר שהדפים שהוצגו בתוצאות החיפוש והכילו קובץ robots היו דפים שהצביעו אליהם קישורים חיצוניים ולפיכך גוגל ראה בהם תוצאות רלוונטיות לגולש.
אך בשונה מההנחה בקידום אתרים שלפיה מה שגוגל מציג זה מה שגוגל אינדקס, הדגיש מט כץ שלמרות שהגולש נחשף לדפים אלו (היות וגוגל התייחס אל דפים אלו כאל דפים חשובים מתוקף הקישורים שהיו אליהם) העכביש של גוגל לא סרק את הדף ולא הפר את פקודת הרובוטס. אחת מההוכחות לכך הייתה שבתוצאות לא ראו למשל תג description כמו בדפים מאונדקסים.
כלומר חשוב לחדד שקובצי robots.txt חוסמים התייחסות של גוגל לתוכן הדף אך לא מונעים את הצגתו בפני הגולש. ומי שאינו מעוניין להציג תוכן מסויים לגולש צריך להשתמש, להמלצתו של מט כץ בפקודת – NOINDEX.
יתרון נוסף שיש לפקודת NOINDEX על פני שימוש בקובצי robots.txt היא שכששמים פקודת robots יכול כל אחד (כולל מתחרים) לדעת בפקודה קטנה וקלה אילו דפים מקדם אתרים או בעל האתר חסם, כלומר ניתן לדעת בקלות מה המידע ה”רגיש” שלנו. הרבה פחות נגיש לדעת מידע זה כשמשתמשים ברמת הדף בפקודת NOINDEX .
