Wat is een opmerking in het robots.txt bestand?

In het robots.txt bestand heb je de mogelijkheid om opmerkingen te plaatsen. Deze opmerkingen worden vaak gebruikt om toelichting te geven op enkele richtlijnen.

Zo weten webmasters later waarom ze bepaalde richtlijnen in het robots.txt bestand hebben geplaatst.

De hashtag

Het plaatsen van een opmerking in het robots.txt bestand is niet lastig.

Wanneer je een “#” plaatst op een regel wordt elk woord na de hashtag op die regel niet meer meegenomen door de robots.

Opmerkingen kunnen op 2 manieren geplaatst worden:

Op een nieuwe regel

#googlebot heeft geen toegang tot /winkelmandje/ directory
User-agent: googlebot
Disallow: /winkelmandje/

Achter een richtlijn

User-agent: googlebot #onderstaande richtlijnen van toepassing op googlebot
Disallow: /winkelmandje/ #geen toegang tot /winkelmandje/ directory