Er zijn in principe twee soorten zoekmachines. De eerste is door robots genaamd crawlers of spiders. 'Spinnen' worden gebruikt voor het indexeren van websites. Wanneer u uw website pagina's in te dienen door het invullen van de benodigde indiening pagina, de spin zal indexeren van uw gehele site. Een 'spider' is een geautomatiseerd programma dat wordt uitgevoerd door de zoekmachine systeem. Spin bezoekt een website, leest de inhoud op de huidige site, Meta tags van de site en volgt ook de banden die de site met elkaar verbindt.
De spin keert vervolgens al die informatie naar een centrale depositaris, waar de data wordt geïndexeerd. Het zal elke link die u op uw website en de index die sites bezoeken. Sommige spiders indexeren alleen een bepaald aantal pagina's op uw site, dus niet een site met 500 pagina's te maken! De spin zal regelmatig terug te keren naar de sites om te controleren of alle informatie die is veranderd. De frequentie waarmee dit gebeurt wordt bepaald door de moderators van de zoekmachine.
Een spin is bijna als een boek waar de inhoudsopgave bevat, de eigenlijke inhoud en de links en verwijzingen naar alle websites het vindt tijdens het zoeken, en het kan index tot een miljoen pagina's per dag. Voorbeeld: Excite, Lycos, Bing en Google. Wanneer u een zoekmachine vragen om informatie te vinden, is het eigenlijk te zoeken via de index die zij heeft gemaakt en niet daadwerkelijk zoeken op het web. Verschillende zoekmachines geven verschillende rankings omdat niet iedereen maakt gebruik van hetzelfde algoritme om te zoeken via de indices.
Een van de dingen die ze algoritme scan is de frequentie en de locatie van de zoekwoorden op een webpagina, maar het kan ook kunstmatig keyword stuffing of spam Dexing detecteren. Dan is de algoritmes analyseren van de manier waarop pagina's verwijzen naar andere pagina's in het web. Door het controleren van hoe pagina's aan elkaar te koppelen, kan een motor zowel bepalen wat een pagina over gaat, als de trefwoorden van de gelinkte pagina's zijn vergelijkbaar met de zoekwoorden op de oorspronkelijke pagina.
Het is een feit dat de meeste online bedrijven en zelfs de meeste webdesign bedrijven weten niet veel over zoekmachine optimalisatie, het de neiging om een aparte vaardigheid helemaal zijn. Tenzij je een enorme marketing budget en kan veroorloven om te betalen voor een veel reclame, het zal uw bedrijf helpen massaal om te begrijpen hoe SEO werkt als zelfs maar te weten de basis zal u een voorsprong