Wat je kunt doen is om te controleren wat een crawler ziet van uw site. Zoals reeds vermeld, crawlers zijn geen mensen en ze hebben geen afbeeldingen, Flash-films, JavaScript, frames, met een wachtwoord beveiligde pagina's en mappen te zien, dus als u hebben ton van deze op uw site, zou je beter de Spider lopen simulator
hieronder om te zien of deze goodies zijn zichtbaar door de spin. Als ze niet zichtbaar zijn, zullen ze niet worden spidered, niet geïndexeerd, niet verwerkt, enz. - In een woord dat ze zullen niet-bestaand voor zoekmachines
.