Wat is een Crawl budget?

Het crawl budget is de maximale hoeveelheid webpagina’s die de zoekmachine-bots (zoals de Googlebot) van een zoekmachine dagelijks bezoeken, crawlen en indexeren op een specifieke website.

Beïnvloedende factoren voor je budget

Google verdeelt haar servercapaciteit efficiënt; een website krijgt niet onbeperkt de tijd. Het crawl budget kan dagelijks variëren, maar stabiliseert zodra de structuur helder is. Factoren die de grootte van het budget en de efficiëntie ervan bepalen zijn:

• Website-grootte: Het totale aantal pagina’s.
• Websitesnelheid: Hoe sneller een pagina laadt, hoe sneller de bot klaar is en hoe meer pagina’s binnen het budget gecrawld kunnen worden.
• Foutmeldingen (404-pagina’s): Doodlopende links verspillen kostbare computertijd van de bot.
• Duplicate content: Identieke teksten zorgen ervoor dat bots onnodig pagina’s dubbel indexeren, wat ten koste gaat van unieke pagina’s.

Het actuele crawlgedrag en eventuele knelpunten zijn eenvoudig te analyseren via de speciale rapporten in Google Search Console.