Wat is een Robots.txt bestand?

Zet je een website online, dan wil je ook dat hij gevonden wordt. Daarvoor is het nodig dat uw website zo goed mogelijk wordt geïndexeerd in de verschillende zoekmachines. Is jouw website eenmaal op een geordende wijze geïndexeerd, dan zorgen zoekopdrachten die gebruikers invoeren op de zoekbalk voor een grotere kans om hen op jouw website te brengen. Om te zorgen dat het indexeren vlot en degelijk gebeurt, plaatst je het robots.txt bestand helemaal bovenin de structuur van de website.

Waarom is het gebruik van de robots.txt belangrijk?

[p]Dit betekent dat het robots.txt file direct op 'www.domeinnaam.nl niveau' wordt geplaatst. Het is natuurlijk niet verplicht om een robots.txt bestand te gebruiken. Maar doet je dit niet, dan heb je op geen enkele wijze in de hand hoe jouw website in de zoekmachine wordt opgenomen. Zoekopdrachten kunnen dan minder effectief zijn en komen minder snel bij jouw website terecht. Met een robots.txt bestand wijs je de webcrawlers en webspiders die jouw website passeren snel de weg. Je geeft precies aan welk deel van de website je wil laten indexeren.

Hoe ziet een robots.txt bestand eruit?

Een robots.txt bestand is eigenlijk een gewoon tekstbestandje. In de aanhef van het bestand wordt altijd de volgende term gebruikt: User-agent: * (met dus het sterretje). Direct hieronder staat het woord: Disallow: (met dubbele punt en een spatie). Direct na die spatie volgt de map die niet geïndexeerd hoeft te worden, bijvoorbeeld: /images/ of /klanten/ (dus altijd tussen de twee schuine strepen).

Voorbeeld:

User-agent: *
Disallow: /images/
Disallow: /klanten/

Het kan ook zo zijn dat je helemaal niet wilt dat de zoekmachine jouw website indexeert. In dat geval zal jouw bestand robots.txt er zo uitzien:

User-agent: *
Disallow: /

Wanneer heb ik een robots.txt nodig?

Wij adviseren om eigenlijk altijd een robots.txt bestand in de rootdirectory op te nemen. Het is een zinvolle wijze van communiceren met de robotbestanden die de verschillende zoekmachines over internet sturen. Vaak wordt een website die goed toegankelijk is voor deze robotbestanden, beloond met een betere indexering in de betreffende zoekmachine. Let op dat je het robots.txt bestand alleen op de genoemde locatie kunt plaatsen. Op een andere plek vinden de crawlers het bestand simpelweg niet. Schrijf de bestandsnaam ook altijd in kleine letters, want anders gaat het fout door de hoofdlettergevoeligheid. Vergeet bovendien niet om het woord 'robots' echt op een 's' te laten eindigen. Want wanneer u 'robot' zonder 's' schrijft, wordt het bestand ook niet gevonden.

Wat zijn de beperkingen van robots.txt?

Opnemen van het robots.txt bestand garandeert niet dat de webcrawlers en webspinnen zich ook echt aan jouw wensen houden. Ook kunnen pagina's die je liever niet had willen laten indexeren, toch in de zoekmachine worden opgenomen, omdat er naartoe wordt gelinkt van pagina's die je wel hebt laten indexeren. Vertrouw dus niet teveel op de beperkingen die je in het robots.txt bestand laat blijken. Het belangrijkste doel is toch vooral om goed te communiceren met de zoekrobots, waardoor de beste ranking in de zoekmachine kan worden bereikt.