Wat is Disallow?

Disallow is een specifieke instructie of richtlijn binnen het robots.txt-bestand van een website, waarmee webmasters aan zoekmachine-crawlers (zoals de Googlebot) aangeven welke pagina’s, mappen of bestanden niet bezocht en geïndexeerd mogen worden.

Crawl-budget beheren en SEO-risico’s

Wanneer een webcrawler een website bezoekt, scant deze altijd eerst het robots.txt-bestand om de toepasselijke regels te lezen. Een configuratie start met het definiëren van de User-agent (de specifieke bot), gevolgd door de Disallow-parameters. Hoewel het uitsluiten van specifieke mappen (zoals administratieve back-end pagina’s of privacy-gevoelige documenten) nuttig is om het crawl-budget optimaal te benutten, brengt een onjuiste of volledige ‘Disallow’ grote risico’s met zich mee. Als vitale onderdelen van de website per ongeluk op disallow worden gezet, blokkeert dit de indexering, wat leidt tot een drastische daling in de organische zoekresultaten van Google.