We niet zeker t wil deze beide pagina's worden doorzocht en eindigen met de zoekmachine spijkeren je spam vanwege de duplicate content in de twee gelijkaardige versies van één page.Another reden wilt u misschien de spinnen te vertellen niet om een spin pagina zou zijn om wat bandbreedte te besparen door het uitsluiten van een aantal van de foto's, stylesheets of javascript. Met de robot.txt bestand kunt u heel specifiek over wat je wilt spidered en niet spidered.What doet Robots.txt bestand eigenlijk? De robots.
txt is een tekstbestand (geen HTML) die u op uw website naar de zoekrobots welke pagina's van uw site die u zou graag doorzocht en welke u op de hoogte t don willen de spinnen te kruipen. Het plaatsen van een robots.txt bestand in uw site is niet in opdracht van de zoekmachines, maar de zoekmachines zal normaal volg je de instructies die u in dit bestand zou zetten. Dit proces is vergelijkbaar met het zetten van een teken op uw website te zeggen Do Not Enter op een geopende deur. Dit bestand is geen vuur muur, zodat de zoekmachine kan nog spider uw site.
Another manier kon je de motoren welke bestanden en mappen niet spin zou met het gebruik van een robots metatag te vertellen. Sommige machines don t metatags lezen, zodat de informatie in de robots metatag niet helemaal zichtbaar bepaalde motoren. De beste manier om precies te zijn om alle motoren met het gebruik van het robots.txt bestand zou zijn .... niet robots metatags.Where u de positie van uw robots.txt-bestand is van vitaal belang. Het moet in de hoofdmap of de zoekmachines zal het bestand niet vinden.
De motoren niet de hele site te zoeken, kijken ze in de hoofdmap en als ze don t daar vinden het bestand, zou de motor aannemen dat een dergelijk bestand bestaat niet. Als gevolg hiervan, waarna de motor zou index alles wat ze vinden in uw site. Hoewel dit bestand niet wordt vereist door de motoren, als je don t zet het bestand op de juiste plaats de zoekmachines zal waarschijnlijk de index van de hele site, met inbegrip van uw persoon