Wanneer u de indiening pagina aan uw website naar voren gebracht om een zoekmachine, de zoekmachine spider zal indexeren van uw site als een geheel te voltooien. De spin bezoeken de website, leest de inhoud ervan, de Meta tags en volgt ook de links op de site naar de andere websites waar uw bezoekers zal worden verwezen om te zien. Na deze de spin krijgt alle informatie die zij heeft opgedaan bij elkaar en plaatst het in een centrale winkel waar het wordt geïndexeerd.
Te wijten aan het feit dat sommige spiders zal alleen index zoveel pagina's van uw website, is het raadzaam niet om een website met te veel pagina's te creëren. Van tijd tot tijd de spin de site zal opnieuw om te zien of er iets is veranderd en de moderators van de zoekmachine dicteren hoe vaak deze herziening plaatsvindt. Een spin die kan index maar liefst een miljoen pagina's per dag is vergelijkbaar met een boek, in dat er sprake is van een inhoudsopgave, gevolgd door de werkelijke inhoud en alle verwijzingen en links het vindt voor andere websites over de hele zoektocht.
Enkele voorbeelden van zoekmachines AltaVista, Excite, Google en Lycos. De zoekmachine zoekt de gevraagde informatie door te kijken in de index, in tegenstelling tot het World Wide Web. Omdat niet alle zoekmachines gebruiken dezelfde algoritme, vindt u de zoekmachines te produceren een verscheidenheid aan resultaten vinden. Trefwoorden en de frequentie en de locatie zijn een van de dingen die een zoekmachine algoritme scans voor op een webpagina, maar het is ook uitstekend op het oppakken van kunstmatige keyword stuffing, ook wel bekend als spamdexing.
De algoritmes zullen dan onderzoekt de manier waarop pagina's verwijzen naar andere pagina's waardoor de zoekmachine om te ontdekken wat de pagina over wanneer de trefwoorden van de gelinkte pagina's zijn niet ongelijk aan die van de oorspronkelijke pagina.