Wat is een wildcard?

Het gebruik van een wildcard scheelt veel tijd bij het opstellen van het robots.txt bestand. Er is echter niet altijd een wildcard nodig!

Stel je wil alle pagina’s uit de directory /cursussen/ niet toegankelijk maken voor de zoekrobots, dan hoef je daar geen wildcard voor te gebruiken. In dit geval doe je dit als volgt:

Fout

User-agent: * Disallow: /cursussen/*Kopiëren

Goed

User-agent: * Disallow: /cursussen/Kopiëren

De zoekrobot van Google ondersteund slechts 2 typen wildcards:

• * wildcards
• $ wildcards

* Wildcards

De * wildcard wordt gebruikt wanneer er duidelijke URL-patronen zijn die u niet wilt toestaan zoals filters en parameters.

Hieronder een voorbeeld wanneer er een filter uitgesloten dient te worden:

User-agent: * Disallow: /filter?*Kopiëren

Door te werken met de wildcard hoef je niet elke filter-URL in te voeren in het robots.txt bestand.

$ Wildcards

De $ wildcard wordt gebruikt om het einde van een URL aan te geven. Dit is voornamelijk handig bij bestandstypen als .pdf, .jpg of .png.

Hieronder een voorbeeld wanneer je wilt dat .pdf bestanden niet toegankelijk zijn:

User-agent: * Disallow: /*.pdf

Door de wildcard te gebruiken hoef je niet elk .pdf bestand handmatig los toe te voegen aan het robots.txt bestand.