Het verkeer dat je website of webshop bezoekt veranderd. Volgens CloudFlare is inmiddels zo’n 57% van al het internetverkeer een AI bot. Deze bots hebben verschillende doelen; eigen modellen trainen, zoeken naar informatie of op verzoek van een gebruiker een website analyseren. Deze doelen zijn flink anders dan de bezoekers en Googlebots waar we onze websites voor geoptimaliseerd hebben.
In mijn werk zie ik regelmatig voorbij komen hoe deze bots de hosting flink onder druk kunnen zetten. AI bots testen je website tot het uiterste door in korte tijd veel unieke (en dus ongecachte) pagina’s te bezoeken, en daarbij alle knopjes die er zijn in te drukken.
Blokkeren die hap zou je zeggen. Maar dan krijg je ineens te horen dat de website niet bekend is bij AI modellen, en dat allerlei goedbedoelde functionaliteiten niet meer werken.
In deze talk wil ik met een paar echte case studies laten zien wat AI botverkeer doet met een website, hoe je AI botverkeer kunt herkennen en hoe je gericht actie onderneemt zonder gelijk je hele website uit de zoekindexes te laten verwijnen.
