Google robots.txt

Robots.txt zijn door WebSpinner internet service op uw website aan te brengen.

Een 'robots.txt'-bestand beperkt toegang tot uw site. Deze robots zijn geautomatiseerd en voordat ze een site bezoeken, controleren ze eerst of er een robots.txt-bestand is waardoor ze bepaalde pagina's niet kunnen crawlen. (Alle goede robots zullen de instructies in een robots.txt-bestand respecteren, hoewel sommige robots deze anders kunnen interpreteren).

Een robots.txt-bestand is echter niet af te dwingen en sommige spammers en andere kwaadwillenden zouden het kunnen negeren. Daarom raden we u aan vertrouwelijke gegevens middels een wachtwoord te beschermen.

U heeft alleen een robots.txt-bestand nodig als uw site inhoud bevat waarvan u niet wilt dat de zoekmachines deze indexeren. Als u wilt dat zoekmachines alles op uw site indexeren, heeft u geen robots.txt-bestand nodig (zelfs geen leeg bestand).

Hoewel Google de inhoud van pagina's die zijn geblokkeerd door robots.txt niet crawlt of indexeert, kunnen we de URL's wel indexeren als we deze op andere webpagina's tegenkomen. Hierdoor kunnen de URL's van de pagina en mogelijk andere openbare informatie, zoals ankertekst in links naar de site of de titel van het Open Directory Project (www.dmoz.nl), worden weergegeven in de zoekresultaten van Google.