Dus nu de Add URL vorm heeft ook een test: het toont een aantal kronkelende letters ontworpen voor de gek geautomatiseerde "letter-geraden"; Het vraagt om de letters die u ziet in te voeren - zoiets als een eye-chart test om spambots te stoppen. Wanneer Googlebot haalt een pagina, is ruimingen alle links die op de pagina en voegt deze toe aan een wachtrij voor de volgende kruipen. Googlebot heeft de neiging om weinig spam tegenkomen, omdat de meeste web auteurs verwijzen alleen naar wat zij geloven zijn van hoge kwaliteit pagina's.
Door het oogsten van links van elke pagina die zij tegenkomt, kan Googlebot snel een lijst met links die brede uithoeken van het web kunnen dekken. Deze techniek, die bekend staat als diep kruipen, maakt het ook mogelijk Googlebot om sonde diep in de individuele sites. Vanwege hun enorme omvang, kan diep kruipt bijna elke pagina te bereiken in het web. Omdat het internet is enorm, dit kan enige tijd duren, zodat sommige pagina's kan slechts één keer per maand worden doorzocht. Hoewel de functie eenvoudig moeten Googlebot worden geprogrammeerd om verschillende problemen te behandelen.
Ten eerste, omdat Googlebot stuurt gelijktijdige verzoeken om duizenden pagina's, de wachtrij van "een bezoek binnenkort" URL's moeten worden voortdurend onderzocht en vergeleken met URL's die al in de index van Google. Duplicaten in de wachtrij moet worden geëlimineerd om te voorkomen dat Googlebot weer ophalen van dezelfde pagina. Googlebot moet bepalen hoe vaak een pagina opnieuw. Aan de ene kant, het is een verspilling van middelen opnieuw indexeren een onveranderd pagina. Aan de andere kant, Google wil re-index veranderde pagina's up-to-date resultaten te leveren.
Om de index actueel te houden, Google recrawls steeds populair vaak wisselende webpagina's met een snelheid die ruwweg evenredig aan hoe vaak de pagina's te wijzigen. Zoals kroegentochten houden een index huidige en staan bekend als verse kruipt. Krantenpagina's worden dagelijks gedo