Wat is een robot?

Binnen de online wereld is een robot (vaak kortweg ‘bot’, ‘spider’ of ‘crawler’ genoemd) een softwareprogramma dat is ontworpen om volledig geautomatiseerd en in een hoog tempo specifieke taken op het internet uit te voeren. De meest voorkomende taak van deze digitale robots is het continu afspeuren (crawlen) van het wereldwijde web.

Waarom worden internetrobots ingezet?

Web-robots worden voor uiteenlopende doeleinden gebruikt door verschillende partijen:

• Zoekmachines: Partijen zoals Google en Bing sturen continu crawlers (zoals Googlebot) op pad om nieuwe content, websites en updates te ontdekken en deze op te slaan in hun database (indexering).
• Data-analyse: Bedrijven gebruiken bots om prijzen van concurrenten te monitoren of marktstatistieken te verzamelen.
• Scraper sites: Minder ethische bots worden ingezet om automatisch content van andere websites te kopiëren en op eigen websites te plaatsen zonder toestemming.

Omdat het internet miljoenen van deze geautomatiseerde programma’s herbergt, is het voor website-eigenaren belangrijk om grip te houden op welke robots wel en niet welkom zijn in hun systemen.