geautomatiseerde manier. Web crawlers zoek een website en kruipen over het, het lezen van de algoritmen en het opslaan van de gegevens. Zodra ze alle informatie van de website ze brengen het terug naar de zoekmachine waar het wordt geïndexeerd hebben verzameld. Sommige zoekmachines ook gebruik maken van web crawlers om te oogsten e-mailadressen en onderhoudstaken, in aanvulling op het verzamelen van informatie over een website. Elke zoekmachine heeft zijn eigen individuele web crawlers en elke zoekmachine heeft variaties over hoe zij verzamelen information.
Webmaster moeten een indicatie hebben van hoe elke zoekmachine gelederen pagina's, om te begrijpen waarom het ene document is hoger gerangschikt dan de andere. Hoewel zoekmachines houden hun algoritmen een geheim, in een deel aan het leven moeilijker voor de Black Hat SEO webmasters moeten proberen hun best om wat begrip van hoe zoekmachine optimalisatie zoekstrategie moeten werken krijgen te maken.
