Whitepaper


Alles wat je moet weten over bots en scrapers

Botsen bots met uw website?

Bots, of webrobots, zijn vandaag de dag alomtegenwoordig op het internet. Afgezien van de vraag of ze goede of slechte bedoelingen hebben, slurpen ze in ieder geval een groot deel van het dataverkeer op.

Bijna de helft van al het online dataverkeer bestaat uit bots, scrapers en andere geautomatiseerde toepassingen. Kan dit kwaad voor uw website of zelfs voor uw organisatie? En: hoe gaat u hier het best mee om?

Bot vangen?
Bots zijn webrobots: software-applicaties die geautomatiseerde taken op het internet uitvoeren. Dit kan een goede of slechte zaak zijn. Googlebot is een voorbeeld van een ‘goede bot’ die nieuwe en geüpdatete pagina’s opspoort om ze toe te voegen aan de index van Google. ‘Slechte bots’ zijn er ook – bijvoorbeeld bots die bijdragen aan DDoS-aanvallen of die gevoelige gegevens helpen stelen.

Afgezien van dit soort negatieve gevolgen die bots kunnen hebben, kan het dataverkeer op een website voor wel veertig procent – of zelfs nog meer – bestaan uit dataverkeer door bots. Ongeacht hun doel zorgen bots dus in ieder geval voor een – soms onnodige – belasting van de IT-infrastructuur. Het aandeel bots in het dataverkeer op een website mag dus wel wat kleiner…

Bot-weg?
Er zijn tools om het dataverkeer door bots te blokkeren. Dit levert een aanzienlijke verkleining van het botdataverkeer op, maar het nadeel hiervan is dat ook legitieme bots dan geen toegang meer hebben tot de website. Bovendien is dit aanleiding voor slechte bots om verder te evolueren, wat ze nog moeilijker te vinden maakt.

Een andere mogelijke oplossing is het beheren van bots. Hier zijn handige tools voor beschikbaar, bijvoorbeeld Bot Manager van Akamai. Deze oplossing is ontwikkeld op basis van het feit dat niet alle bots op dezelfde manier gemaakt worden. Deze tool helpt organisaties de impact van bots op hun business en infrastructuur beter te managen door ze te voorzien van een flexibel raamwerk.

Bot Manager onderzoekt de ondertekening van bots, waarbij elke ondertekening apart behandeld wordt, en automatiseert in 'realtime' hoe een website met de bot om dient te gaan. Vervolgens wordt hier een actie aan toegewezen die de schade van slechte bots beperkt en de voordelen van goede bots behoudt. Zo vang je dus alleen bot(s) wanneer dat nodig is.


Lees meer over