Wat is crawl-delay?

De crawl-delay richtlijn in het robots.txt bestand moet er voor zorgen dat de robots de server niet overbelasten. Niet elke zoekmachine ondersteunt deze richtlijn.

In een robots.txt bestand zie je vaak het volgende staan:

User-Agent: Yahoo! Slurp
Crawl-delay: 20

Elke zoekmachine benadert deze richtlijn echter weer anders. Daarom zullen we per zoekmachine kijken naar hun werkwijze.

Google en crawl-delay: 20

Zoals we al aangaven; niet alle zoekmachines ondersteunen deze richtlijn, waaronder Google. Mocht je willen dat Google jouw website slomer crawlt, dan moet je de crawl rate instellen via Google Search Console.

Bing en Yahoo en crawl-delay: 20

Bing en Yahoo werken met crawl delay.

In het geval van een crawl-delay: 20 verdelen zij de dag in stukjes van 20 seconde. Elke 20 seconde crawlen ze vervolgens maximaal één pagina.

Baidu en crawl-delay: 20

Baidu werkt niet met een crawl-delay in de robots.txt. De gewenste crawl hoeveelheid kun je enkel aangeven in de Baidu Webmasters Tool.

Yandex en crawl-delay: 20

Yandex maakt wel gebruik van de crawl-delay richtlijn. Echter geven zij aan dat ze het ook fijn vinden wanneer de gewenste crawl hoeveelheid wordt aangegeven in Yandex.Webmaster.

Yandex wacht elke keer 20 seconde tot het aanvragen van een nieuwe pagina wanneer je een crawl-delay: 20 hanteert voor user-agent Yandex.

Giel Plant

Categorieën

SEO

Vragen over dit onderwerp?

Neem contact op
Begin gesprek
SYcommerce via WhatsApp
Hallo,
Kunnen wij je misschien ergens mee helpen?