Column


Column Guido Hettema

Best practices voor botmanagement

Bots. Ze worden maar al te vaak ingezet om schade te berokkenen aan organisaties. Het effectief aanpakken van botverkeer is dan ook essentieel om de concurrentie voor te blijven en de uitbreiding van de IT-architectuur te beperken. Veel organisaties hanteren echter een ‘one-size-fits-all’-aanpak die niets meer inhoudt dan het blokkeren van webcrawlers. Oftewel: ze blokkeren alle bots en scrapers op dezelfde manier. En dat is vreemd, aangezien dat flink wat risico’s met zich meebrengt.

Allereerst kan eenzelfde aanpak voor alle bots leiden tot een lagere zichtbaarheid in zoekmachines. Dit komt doordat potentieel goede bots ook geblokkeerd worden, wat weer een negatief effect kan hebben op online business-doelstellingen. Het blokkeren van bots is bovendien ineffectief op de langere termijn. Geblokkeerde bots gaan automatisch terug naar de operator, die op zijn beurt de bot kan aanpassen en verder ontwikkelen om terug te keren op sites in een nog lastiger te detecteren vorm.

Analyseer en detecteer
Het managen van botverkeer via een voorgedefinieerde signature-analyse en realtime detectie is een veel effectievere aanpak dan de eerder genoemde ‘one-size-fits-all’-benadering. Deze ‘manage, don’t mitigate’-strategie zorgt ervoor dat goede bots hun werk kunnen doen en slechte bots te onderdrukken zijn. Organisaties zijn in staat om goede bots toe te staan en te prioriteren. Tegelijkertijd is toegang door slechte bots te weigeren of te vertragen. Het is zelfs mogelijk ze een andere bron, andere content of ‘out of cache’-content voor te schotelen.

Is dat alles wel nodig dan? Onderzoek uitgevoerd door Akamai, dat traffic indeelt op basis van signature-analyse, wijst uit van wel. Met inzicht in vijftien tot dertig procent van al het websiteverkeer ter wereld herkent het meer dan 1.200 bots in vijftien categorieën. Belangrijkste conclusie: gemiddeld bestaat zo’n veertig procent van het verkeer op een site uit bots en scrapers. En dat is toch behoorlijk veel.

Classificatie van bots
Het continu updaten van botdirectory’s op basis van signatures maakt – samen met de creatie van custom signatures om bekende bots te identificeren – directe classificatie van bot-signatures mogelijk. En dus directe toewijzing van gepaste acties, waardoor zakelijke risico’s afnemen en de IT-werklast vermindert. Bots zijn in te delen in drie categorieën: bekende bots voor de organisatie, bekende bots voor de klant en onbekende bots. Op elk van deze categorieën zijn bepaalde geavanceerde acties in te stellen.

Een voorbeeld van een automatische botactie is Silent Deny, die verzoeken vanaf de site blokkeert maar geen errorcode terugstuurt naar de client. De Delay-optie maakt een siteverzoek mogelijk, maar voegt een drie seconden lange vertraging toe. Dit kan nuttig zijn bij het managen van goede bots maar die wel een flinke invloed hebben op de prestatiebelasting. De Slow-optie maakt de vertraging zelfs acht tot tien seconden lang. Met Serve Alternate Content stuur je een verzoek door naar een alternatieve, geconfigureerde pagina. Dit maakt een respons naar bots mogelijk met informatie die anders is dan van een site die van klanten komt – denk bijvoorbeeld aan een alternatieve e-commercesite die dezelfde producten heeft met andere prijzen. Het kiezen voor Serve Cached zorgt ervoor dat een verzoek wordt beantwoord met content uit het cachegeheugen, wat ook helpt de prestatiebelasting op de oorspronkelijke infrastructuur te verminderen.

Het is duidelijk: de traditionele aanpak levert veel risico’s op en is niet ingericht op de geavanceerde botverzoeken die op sites zijn gericht. Het is dus nu tijd om te kiezen voor een ‘manage, don’t mitigate’-aanpak, voordat de bots echt schade berokkenen aan de organisatie.


Lees meer over