Hoe dit te doen op een geautomatiseerde manier, voor elke pagina op het web en voor elke mogelijke combinatie van zoekwoorden in alle talen mensen spreken is een zeer ingewikkelde taak. Elke zoekmachine maakt gebruik van een zeer uitgebreid systeem om te bepalen waar een pagina in een internet zoeken zal worden gepresenteerd. Het proces van het maken van webpagina's aantrekkelijker te maken voor een zoekmachine is bekend als zoekmachine optimalisatie of SEO. Studies tonen aan dat de gemiddelde internetgebruiker kijkt niet verder dan de tweede pagina van een zoekresultaat.
Vanwege dit zijn zeer belangrijk om websites om opgenomen te worden op de eerste twee pagina's en kunnen illegale (zwarte hoed) methoden ondergaan om een top ranking.Webmasters die vasthouden aan meer respectabele vormen van Search Engine Optimization strategie gebruiken verschillende technieken om hun zoekopdracht te verbeteren krijgen engine ranking. Een van de eerste dingen die een webmaster kan doen is om hun META-tags controleren. META tags zijn speciale HTML-tags die informatie over een webpagina te bieden.
META tags worden gebruikt door zoekmachines om goed te indexeren een webpagina, maar ze zijn niet zichtbaar voor de webbrowser. META tags zijn een belangrijke factor om te krijgen gerangschikt. De volgende voorbeelden tonen twee verschillende META description tags uit webdesign.org Het hebben van een goed geschreven META-tag kan sterk verhogen van uw pagina rang. Op deze nota, Meta tags alleen zal niet meteen in de top plek van een zoekresultaat. Een webmaster moet ook overwegen een web-crawler vriendelijke webpagina.
Zoekmachines rekenen op een klein apparaat genaamd een webcrawler (ook wel aangeduid als spinnen, bots, wormen, web robots en automatische indexers) naar catalogus websites lokaliseren en vervolgens. Web crawlers zijn computerprogramma's die surfen op het World Wide Web op een methodische,