איך מנועי חיפוש עובדים (ולפעמים לא) – מעידות במקום זחילה

בוודאי רובכם מתכננים את האתר שלכם וניווט בו לבני אדם, בוודאי שעליכם להתחשב בכך, אך חשוב לדעת שמבני ניווט מסוימים מכשילים את העכבישים. מה שהופך את הסיכויי שאותם מבקרים ימצאו אותך במקום הראשון בתוצאות החיפוש לאפסי. כמו כן מתי שתסדר את הניווט באתר שיהיה נוח גם לעכבישים, נוצר כאן סוג של בונוס שיגרום גם לגולשים באתר שלך לנווט בצורה קלה יותר.

שווה לזכור שיש מצבים שבהם לא תרצה שהעכביש יאנדקס כל פינה באתר שלך. אם יש בידך אתר שצריך לשלם כדי להגיע לתכנים שלו , לא היית רוצה שהעכביש של גוגל “ידוג” את כל התכנים האלה ויציג אותם באינדקס שלו לכל מי שיחפש את מילות המפתח הנכונות. יש דרכים כיצד לחסום במכוון את העכביש מפני תכנים כאלו. במאמר זה נדבר על הנושא רק באופן חלקי כדי להמשיך ולהתמקד בנושא המרכזי שלו.

כתובות URL דינמיות הם אחד מאבני ההתקלה הנפוצות ביותר עבור עכבישים של מנועי חיפוש. במיוחד דפים שיש בהם שני פרמטרים או יותר יכולים להתקיל את העכביש. תוכל לזהות כתובת URL דינאמית על ידי הסתכלות בשורת הכתובת. בדרך כלל היא מכילה המון “זבל” כמו סימני שאלה, סימני שווה, הסימן & וכמובן סימני אחוזים. דפים אלו הם מעולים עבור משתמשים אנושיים שבד”כ מכוונים העדפות מסוימות באופציות חיפוש של אותו אתר , לדוגמה : גלישה לאתר נדל”ן וכיוון החיפוש ל – דירה , באיזור השרון, מ2500 ₪ לחודש וכו’… תניב דף תוצאות שיהיה בו בURL את כל הפרמטרים של החיפוש.

ישנם עוד דרכים שבהם העכביש לא אוהב מורכבות. לדוגמה דפים שמכילים יותר ממאה קישורים יחודיים לכתובות באותו אתר יכול לגרום לעכביש להתעייף במבט אחד. העכביש לא יבקר בכל הקישורים. אם אתה מנסה לבנות מפת אתר יש דרך טוב יותר לבנות אותה.

דפים שממוקמים במרחק של יותר משלושה קליקים מדף הבית שלך גם עבורם קיים סיכוי שהעכביש לא יגיע לבקר. העכביש לא אוהב להיכנס עמוק. בעניין זה גם בני אדם עלולים ללכת לאיבוד באתר שיש בו רמות עמוקות של קישורים מבלי שיהיה בו ממשק ניווט נוח.

דף שדורש “SESSION ID” או תומך רק בעוגיות כדי לאפשר גלישה גם לא יאונדקס על ידי העכביש.

עכבישים אינם דפדפנים ואין להם את אותם יכולות. רוב הסיכויים שלא תהיה להם היכולת להשתמש בצורות זיהוי אלו.

עוד גורם שמתקיל עכבישים זה עמודים שמחולקים ל”frames“. הרבה אנשים אוהבים לבנות “פריימים” כי זה עוזר להם להשאיר את תפריט הניווט למעלה ועדיין לגלול את התוכן למטה. אבל העכבישים מתבלבלים בעת ביקור בדף שיש בו “פריימים”, עבור העכביש תוכן זה תוכן. אין לו דרך לדעת איזה חלק צריך להופיע באינדקס. למרבה המזל גם גולשים לא אוהבים דפים עם מסגרות, שלעתים קרובות דפים אלו נראים עמוסים.

לסיכום למדנו כאן גורמי ניווט שמתקילים את העכבישים של מנועי החיפוש, בקטע הבא נלמד על עוד גורמים מתקילים עבור העכביש.