מפת אתר וקובץ robots
מפת אתר היא רשימת כתובות שמבקשים מגוגל לסרוק. robots.txt אומר מה לא לסרוק. שגיאה נפוצה היא לחסום את האתר בטעות, או לשלוח מפה בלי שהעמודים מקושרים.
שני קבצים, שני תפקידים
sitemap.xml יושב בדרך כלל בכתובת /sitemap.xml. הוא לא דירוג. הוא בקשת גילוי. עמוד שלא מופיע במפה ועדיין מקושר מהתפריט יכול להיסרק. עמוד שבמפה אבל חסום ב-robots לא ייסרק.
ב-robots כותבים Disallow רק על מה שלא צריך בגוגל, למשל אזור ניהול. לא על / ולא על קבצי העיצוב. חסימת העיצוב מקשה על גוגל לראות את העמוד כמו גולש.
| קובץ | אומר | טעות |
|---|---|---|
| sitemap.xml | אלה הכתובות הציבוריות | כתובת ניהול או עמוד תודה |
| robots.txt | כאן לא נכנסים | Disallow: / על כל האתר |
| שורה במפה | בקשה לסריקה | ציפייה לדירוג באותו יום |