Wat is een wildcard?

Het gebruik van een wildcard scheelt veel tijd bij het opstellen van het robots.txt bestand. Er is echter niet altijd een wildcard nodig!

Stel je wil alle pagina’s uit de directory /cursussen/ niet toegankelijk maken voor de zoekrobots, dan hoef je daar geen wildcard voor te gebruiken. In dit geval doe je dit als volgt:

Fout

User-agent: *
Disallow: /cursussen/*

Goed

User-agent: *
Disallow: /cursussen/

De zoekrobot van Google ondersteund slechts 2 typen wildcards:

  • * wildcards
  • $ wildcards

* Wildcards

De * wildcard wordt gebruikt wanneer er duidelijke URL-patronen zijn die u niet wilt toestaan zoals filters en parameters.

Hieronder een voorbeeld wanneer er een filter uitgesloten dient te worden:

User-agent: *
Disallow: /filter?*

Door te werken met de wildcard hoef je niet elke filter-URL in te voeren in het robots.txt bestand.

$ Wildcards

De $ wildcard wordt gebruikt om het einde van een URL aan te geven. Dit is voornamelijk handig bij bestandstypen als .pdf, .jpg of .png.

Hieronder een voorbeeld wanneer je wilt dat .pdf bestanden niet toegankelijk zijn:

User-agent: *
Disallow: /*.pdf$

Door de wildcard te gebruiken hoef je niet elk .pdf bestand handmatig los toe te voegen aan het robots.txt bestand.

Giel Plant

Categorieën

SEO

Vragen over dit onderwerp?

Neem contact op
Begin gesprek
SYcommerce via WhatsApp
Hallo,
Kunnen wij je misschien ergens mee helpen?