Um die Leistung und Sicherheit unserer Webserver zu verbessern, haben wir beschlossen, den Zugriff bestimmter Web-Crawler zu blockieren. Diese Entscheidung basiert auf einer sorgfältigen Analyse der Auswirkungen dieser Crawler auf unsere Serverressourcen und die Nutzererfahrung.
Hier sind die Web-Crawler, die wir blockiert haben:
Crawler-Name | Link | Beschreibung des Crawlers |
---|---|---|
ClaudeBot | https://claude.ai/ | Claude ist ein KI-Modell von Anthropic für Textaufgaben wie Schreiben und Antworten. |
Bytespider | https://www.bytedance.com/ | ByteSpider ist ein Web-Crawler, entwickelt von ByteDance, dem Unternehmen hinter TikTok. |
SeekportBot | https://seekport.com/ | Seekport ist eine Suchmaschine und ein Dienstleister im Bereich Suchmaschinenoptimierung mit Sitz in Deutschland. |
GPTBot | https://platform.openai.com/ | GPT ist ein Chatbot, der Textaufgaben unterstützt. |
PetalBot | https://aspiegel.com/petalbot | Petal ist Huaweis Alternative zu Google-Diensten für seine Smartphones außerhalb Chinas. |
Sogou web spider | http://www.sogou.com/docs/help/webmasters.htm#07 | Sogou, eine chinesische Suchmachine |
VelenPublicWebCrawler | https://velen.io/ | analysiert jeden Monat Millionen öffentlicher Internetseiten für maschinelles Lernen |
SeznamBot | https://Seznam.cz | Seznam ist ein tschechisches Internetportal mit Suchmaschine der seznam.cz, a.s. mit Sitz in Prag. |
netEstate | https://www.website-datenbank.de | Website-datenbank.de bietet Website-Analysen, Domain-Informationen und Tools für Webmaster und Vermarkter. |
coccocbot-web | https://coccoc.com/en | Es ist ein vietnamesischer Freeware-Webbrowser, basierend auf dem Chromium-Quellcode. |
Barkrowler | https://www.babbar.tech | Babbar analysiert SEO-Faktoren, identifiziert Stärken und Schwächen von Websites, erleichtert Linkbuilding. |
MJ12bot | https://mj12bot.com/ | Majestic ist eine UK-basierte Spezialsuchmaschine für Unternehmen weltweit, um unabhängige Internetkarten zu erstellen. |