Wat is een disallow richtlijn?

De disallow richtlijn zorgt er voor dat zoekmachines bepaalde bestanden, secties of pagina’s niet kunnen bezoeken.

Er zijn verschillende redenen waarom je bepaalde pagina’s zou willen uitsluiten:

• Ongewenst
• Niet gebruiksvriendelijk
• Crawlbudget

We zullen elke reden toelichten aan de hand van enkele voorbeelden.

Ongewenst

Allereerst zit geen enkele website-eigenaar er op te wachten dat zijn of haar admin/webmaster pagina wordt geïndexeerd. Door middel van een disallow richtlijn sluit je deze eenvoudig uit.

Een disallow van de admin pagina zou er als volgt uit kunnen zien:

User-agent: *
Disallow: /wp-admin/

Door middel van deze richtlijn verbieden wij alle zoekmachines om naar deze URL te gaan.

Wij adviseren de volgende URL’s uit te sluiten:

• Admin pagina

Gebruiksvriendelijkheid

Ten tweede wil je niet dat klanten terecht komen op pagina’s waar zij niks aan hebben. Zo heeft het geen zin dat een klant die wordt doorgestuurd vanuit de zoekmachine in de winkelwagen van een webshop beland.

De klant heeft namelijk sowieso nog geen producten in zijn winkelwagen. In dat geval heb je liever dat je gevonden wordt op een andere pagina.

Een disallow voor de winkelmand pagina zou er als volgt uit kunnen zien:

User-agent: *
Disallow: /winkelmandje/

Wij adviseren de volgende URL’s uit te sluiten:

• Account pagina’s
• Winkelmand pagina
• Afreken pagina
• Bedankt pagina

Crawlbudget

Ten slotte moet je als website altijd rekening houden met jouw crawlbudget.

Googlebots hebben maar een beperkte kracht om alle pagina’s op jouw website te crawlen. De hoeveelheid energie/kracht die zij er insteken is afhankelijk van hoe goed jij het reeds doet op het gebied van SEO.

Het crawlbudget is het aantal pagina’s van jouw website dat Google per dag crawlt. Aangezien je vaak te maken hebt met een beperkt crawlbudget wil je dat deze zo effectief mogelijk wordt geinvesteerd.

Het is daarom slim om pagina’s met weinig content uit te sluiten. Door relatief slechtere pagina’s uit te sluiten, is de kans groter dat ze regelmatig jouw top pagina’s crawlen.

Een disallow voor de filter pagina zou er als volgt uit kunnen zien:

User-agent: *
Disallow: /filter*

Door middel van deze richtlijn verbieden wij alle zoekmachines om alle filter URL’s te bezoeken.

Om crawlbudget te besparen adviseren wij de volgende pagina’s uit te sluiten:

• Paginatie pagina’s
• Zoekopdrachten pagina’s
• Filter pagina’s
• Pagina’s met dubbele content