Wat is Crawlen?

Crawlen is het geautomatiseerde proces waarbij zoekmachinesoftware (bots, spiders of crawlers genoemd) systematisch het internet afspeurt om de inhoud, structuur en kwaliteit van websites te verkennen en te indexeren.

De basis van vindbaarheid

Als een website niet goed crawlbaar is, kunnen zoekmachines de inhoud niet opnemen en is de site onvindbaar voor consumenten. Crawlers navigeren door een website door het volgen van hyperlinks (interne en externe links). Hoe vaak een bot langskomt, hangt af van de autoriteit van de site, de populariteit en de frequentie waarmee de content wordt geüpdatet. Een solide en logische linkstructuur is essentieel om de crawler zo soepel mogelijk door de website te loodsen en fouten (zoals 404-foutmeldingen) te voorkomen.