Um die Leistung und Sicherheit unserer Webserver zu verbessern, haben wir beschlossen, den Zugriff bestimmter Web-Crawler zu blockieren. Diese Entscheidung basiert auf einer sorgfältigen Analyse der Auswirkungen dieser Crawler auf unsere Serverressourcen und die Nutzererfahrung.
Hier sind die Web-Crawler, die wir mit Web Application Firewall blockiert oder limitiert haben:
Sie können diese Regeln direkt in Ihrem DirectAdmin-Hosting-Panel unter „Web Application Firewall” verwalten. Eine detaillierte Anleitung dazu finden Sie HIER
📌
| Crawler-Name | Link | Beschreibung des Crawlers | Rule |
|---|---|---|---|
| bingbot | http://www.bing.com/bingbot.htm | Bingbot ist der Webcrawler von Microsoft, der für das Auffinden, Indizieren und Bewerten von Webseiten für die Suchmaschine Bing zuständig ist. Er durchsucht das Internet, um den Index von Bing zu aktualisieren und sicherzustellen, dass die Suchergebnisse relevant und aktuell sind. | Rate limit |
| meta-externalagent | https://developers.facebook.com/docs/sharing/webmasters/crawle | Der Meta-ExternalAgent-Crawler durchsucht das Web nach Anwendungsfällen wie dem Trainieren von KI-Modellen oder der Verbesserung von Produkten durch die direkte Indizierung von Inhalten. | Rate limit |
| ClaudeBot | – | Der Crawler von Anthropic zum Trainieren und Aktualisieren des KI-Assistenten Claude. | Rate limit |
| Bytespider | https://www.bytedance.com/ | ByteSpider ist ein Web-Crawler, entwickelt von ByteDance, dem Unternehmen hinter TikTok. | Block |
| SeekportBot | https://seekport.com/ | Seekport ist eine Suchmaschine und ein Dienstleister im Bereich Suchmaschinenoptimierung mit Sitz in Deutschland. | Block |
| PetalBot | https://aspiegel.com/petalbot | Petal ist Huaweis Alternative zu Google-Diensten für seine Smartphones außerhalb Chinas. | Block |
| Sogou web spider | http://www.sogou.com/docs/help/webmasters.htm#07 | Sogou, eine chinesische Suchmachine | Block |
| VelenPublicWebCrawler | https://velen.io/ | analysiert jeden Monat Millionen öffentlicher Internetseiten für maschinelles Lernen | Block |
| SeznamBot | https://Seznam.cz | Seznam ist ein tschechisches Internetportal mit Suchmaschine der seznam.cz, a.s. mit Sitz in Prag. | Block |
| netEstate | https://www.website-datenbank.de | Website-datenbank.de bietet Website-Analysen, Domain-Informationen und Tools für Webmaster und Vermarkter. | Block |
| coccocbot-web | https://coccoc.com/en | Es ist ein vietnamesischer Freeware-Webbrowser, basierend auf dem Chromium-Quellcode. | Block |
| Barkrowler | https://www.babbar.tech | Babbar analysiert SEO-Faktoren, identifiziert Stärken und Schwächen von Websites, erleichtert Linkbuilding. | Block |
| MJ12bot | https://mj12bot.com/ | Majestic ist eine UK-basierte Spezialsuchmaschine für Unternehmen weltweit, um unabhängige Internetkarten zu erstellen. | Block |
| timpibot | https://timpi.io/ | Timpibot wird von Timpi verwendet. Der von ihnen erstellte Index kann zum Training von LLMs (Large Language Models) verwendet werden. | Block |