Blog
Bad Bots – Probleme, Auswirkungen & Lösungsansätze
Nicht nur Menschen sind im Internet unterwegs – sondern auch jede Menge Bots. 37,2 Prozent des Internettraffics in 2019 wurde nicht durch Menschen verursacht. 13,1% wurden durch “Good Bots” und 24,1% durch “Bad Bots” verursacht. Welche Probleme das verursachen kann, wie man diese lösen kann und warum nicht alle Bots schlecht sind, erklären wir Ihnen im Folgenden.
Was sind Good Bots und wofür brauche ich sie?
Zahlreiche Aufgaben werden inzwischen automatisiert von Computerprogrammen übernommen und ersparen uns somit eine Menge Zeit und Aufwand. Hier ein kurzer Überblick über die guten Boots:
- Data Bots sammeln aktuelle Informationen zu Wetter, Nachrichten, Sport, Börse etc. und liefern diese aus (z.B. Siri, Google Home)
- Trader Bots – sind stets auf der Suche nach dem niedrigsten Preis
- Spider Bots – die Bots der Suchmaschinen (Google, Bing)
- Chatbots sind wohl am bekanntesten und benötigen keiner weiteren Erklärung
Good Bots lassen sich außerdem über die Datei robots.txt steuern (gemäß dem Robots Exklusion Standard). Bad Bots ignorieren dies jedoch.
Was sind Bad Bots und welche Probleme können sie bereiten?
Und auf diese Bots könnten wir im Internet gerne verzichten:
- Spam Bots verbreiten jede Menge Spam per E-Mail oder in Kommentaren unter Artikeln oder Blogbeiträgen
- Scrapers sind dazu ausgelegt, Content Urheber-rechtswidrig zu kopieren (Texte, Bilder) und an anderer Stelle wieder zum Einsatz zu bringen
- Hackers & Impersonators sind oft für DDoS Attacken verantwortlich
Darüber hinaus werden Bots auch für Kreditkartenbetrug eingesetzt oder zum Ausspionieren von Sicherheitslücken. Egal mit welchem Ziel die Bots auf eure Seite kommen, Bad Bots können spürbare Auswirkungen auf eure Performance und den Verbrauch von AWS-Ressourcen haben. Insbesondere letzteres verursacht eine Intensivierung der Kosten für Ihre Ressourcen.
Wie erkenne ich Bad Bots?
Bad Bots lassen sich üblicherweise anhand des UserAgent erkennen. Diesen kann man z.B. googeln um weitere Informationen zu finden. Viele Webseiten sammeln Informationen zu Good und Bad Bots. Auch ob die Bots sich an die robots.txt halten, kann man teilweise nachlesen. Allerdings können Informationen des UserAgent auch gefälscht werden. Zu einer Überprüfung kann der umgekehrte DNS-Lookup herangezogen werden.
Übrigens: Mit unserem Plattform-Feature “Central Logging” können all unsere Kunden Zugriffslogs live einsehen und bewerten.
Was kann ich gegen Bad Bots tun?
Um sich Bad Bots zu entledigen, gibt es verschiedene Lösungsansätze.
- Bei Apache lassen sich spezifische Bots über das .htaccess File blocken.
- Auch bei nginx lassen sich einzelne Bots blocken.
- Ein generischer Ansatz der Angriffsabwehr ist über die AWS WAF möglich, welche neben der Sperrung von bekannten Bot-Netzen auch XSS und SQL-Injection Angriffe abwehren kann. Die AWS WAF lässt sich sowohl an einem Application Loadbalancer als auch an einem CloudFront Endpunkt aktivieren.
- Verwendet man Amazon CloudFront als Full Page Cache werden die Header umgeschrieben. Daher greifen die Lösungen auf Basis des UserAgent-Headers nicht. Aus diesem Grund empfehlen wir in diesem Fall die AWS WAF zum Blockieren von Bad Bots.
- Auch Applikationsseitig kann man die Bad-Bots sperren. Für WordPress und Magento gibt es z.B. folgende Plugins: Blackhole Bad Bots & Extension Spam Bot Blocker.
Fallbeispiel von Bad Bots bei Skaylink
Wir haben die Ressourcen der AWS-Umgebungen unserer Kunden mit unserem Monitoring-Tool “Orbiter” stets im Blick. Deswegen fallen ungewöhnliche Werte sofort auf. So geschah es z.B. im Herbst letzten Jahres. Der Bad Bot wurde dann von unserem Support manuell über nginx blockiert. Dies ist auch deutlich in der Grafik erkennbar.
Zusammenfassung
Die Handhabung von Bad Bots ist ein komplexes und fortlaufendes Thema. Auch werden die Bots mit der Zeit intelligenter. Aus diesem Grund muss die Strategie kontinuierlich hinterfragt und angepasst werden. Wir unterstützen Sie gerne – auch bei akuten Problemen. Vereinbaren Sie einfach einen Beratungstermin.
Update Mai 2021
Inzwischen verfügt der AWS Security Service „AWS WAF“ (Web Application Firewall) über das neue Feature “AWS WAF Bot Control”, welches das Monitoring und Sperren von unerwünschtem Bot Traffic ermöglicht.