מנועי החיפוש הגדולים כגון Google, Yahoo ו-Bing מפעילים זחלנים ברשת שסורקים את הדפים ברשת ומאנדקסים את הדפים ב Database שלהם.

חלק מן המנועים מאפשרים כלי כדי לבקש מהזחלן שלהם להיכנס אליך לאתר ולהתחיל בתהליך הסריקה.

חשוב לציין כי על מנת שהזחלנים יכנסו אליכם מהר לאתר, מומלץ להוציא קישורים מאתרים שכבר מאונדקסים במנועי החיפוש כך שברגע שהזחלנים יכנסו לאתרים לסריקה חוזרת, סביר להניח שהם יבקרו גם באתרכם.

ככל שאתרים ברשת יוציאו קישורים מאתריהם כך הזחלנים ימצאו את אתרכם יותר מהר.

ישנם כלים כמו Google Webmaster Tool המאפשרים להזין קובץ XML (מפת אתר) עם הקישורים באתר כדי להבטיח שכל הדפים באתרכם נמצאים בגוגל, במיוחד דפים שאינם ניתנים לגילוי באופן אוטומטי.

מנועי חיפוש הסורקים את האתר יכולים להסתכל על מספר גורמים שונים בעת סריקת האתר כך שלא כל דף נמצא באינדקס של מנועי החיפוש.

דפים הנמצאים רחוק מספריית הבסיס של האתר יכול להיות גורם לאי אינדוקס בנוסף לכך למנועי חיפוש יש בעיות עם אתרים עם סוגים מסויימים של גראפיקה, קבצי פלאש, קבצי מסמכים בפורמט נייד.