Um die Leistung und Sicherheit unserer Webserver zu verbessern, haben wir beschlossen, den Zugriff bestimmter Web-Crawler zu blockieren. Diese Entscheidung basiert auf einer sorgfältigen Analyse der Auswirkungen dieser Crawler auf unsere Serverressourcen und die Nutzererfahrung.
Hier sind die Web-Crawler, die wir blockiert haben:
| Crawler-Name | Link | Beschreibung des Crawlers |
|---|---|---|
| ClaudeBot | https://claude.ai/ | Claude ist ein KI-Modell von Anthropic für Textaufgaben wie Schreiben und Antworten. |
| Bytespider | https://www.bytedance.com/ | ByteSpider ist ein Web-Crawler, entwickelt von ByteDance, dem Unternehmen hinter TikTok. |
| SeekportBot | https://seekport.com/ | Seekport ist eine Suchmaschine und ein Dienstleister im Bereich Suchmaschinenoptimierung mit Sitz in Deutschland. |
| GPTBot | https://platform.openai.com/ | GPT ist ein Chatbot, der Textaufgaben unterstützt. |
| PetalBot | https://aspiegel.com/petalbot | Petal ist Huaweis Alternative zu Google-Diensten für seine Smartphones außerhalb Chinas. |
| Sogou web spider | http://www.sogou.com/docs/help/webmasters.htm#07 | Sogou, eine chinesische Suchmachine |
| VelenPublicWebCrawler | https://velen.io/ | analysiert jeden Monat Millionen öffentlicher Internetseiten für maschinelles Lernen |
| SeznamBot | https://Seznam.cz | Seznam ist ein tschechisches Internetportal mit Suchmaschine der seznam.cz, a.s. mit Sitz in Prag. |
| netEstate | https://www.website-datenbank.de | Website-datenbank.de bietet Website-Analysen, Domain-Informationen und Tools für Webmaster und Vermarkter. |
| coccocbot-web | https://coccoc.com/en | Es ist ein vietnamesischer Freeware-Webbrowser, basierend auf dem Chromium-Quellcode. |
| Barkrowler | https://www.babbar.tech | Babbar analysiert SEO-Faktoren, identifiziert Stärken und Schwächen von Websites, erleichtert Linkbuilding. |
| MJ12bot | https://mj12bot.com/ | Majestic ist eine UK-basierte Spezialsuchmaschine für Unternehmen weltweit, um unabhängige Internetkarten zu erstellen. |
| timpibot | https://timpi.io/ | Timpibot wird von Timpi verwendet. Der von ihnen erstellte Index kann zum Training von LLMs (Large Language Models) verwendet werden. |