ClaudeBot per robots.txt blockieren
Wenn Sie ClaudeBot komplett aussperren wollen, fügen Sie folgenden Block in Ihre /robots.txt ein:
User-agent: ClaudeBot Disallow: /
ClaudeBot respektiert robots.txt zuverlässig — eine korrekte Disallow-Regel reicht aus.
ClaudeBot ausdrücklich erlauben
Falls Sie sicherstellen wollen, dass ClaudeBot Zugriff hat — zum Beispiel weil Sie gezielt Sichtbarkeit in Anthropic-KI erreichen wollen:
User-agent: ClaudeBot Allow: /
Hinweis: Ein expliziter Allow überschreibt eine wildcardige Disallow-Regel auf User-agent: *. Wenn Sie also generell alle Bots sperren und nur ClaudeBot reinlassen wollen, ist das die korrekte Schreibweise.
Sollten Sie ClaudeBot blockieren?
Faustregel: Trainings-Crawler wie ClaudeBot dürfen Sie blockieren, ohne Sichtbarkeit zu verlieren. Ihre aktuelle Präsenz in Anthropic-KI bleibt unverändert — Sie verhindern nur, dass zukünftige Modelle mit Ihren Texten trainiert werden. Sinnvoll, wenn Sie urheberrechtliche oder strategische Bedenken haben. Nicht sinnvoll, wenn Sie hoffen, dass Sie irgendwann im Modell vorkommen.
Den Status für meine Domain prüfen
Wenn Sie wissen wollen, wie ClaudeBot aktuell auf Ihre Domain zugreift, nutzen Sie unseren kostenlosen AI-Crawler-Checker. Domain eintragen, in zwei Sekunden sehen Sie den Status für ClaudeBot und elf weitere relevante AI-Bots, inklusive der konkreten robots.txt-Regel, die für den Status verantwortlich ist.
Weitere Bots von Anthropic
- Claude-SearchBot — Such-Crawler. Claude-SearchBot indexiert das Web für Claudes Suchfunktion.
- Claude-User — Live-Abruf. Claude-User holt eine URL live, wenn ein Nutzer Claude darum bittet.
Andere Trainings-Crawler im Vergleich
- GPTBot (OpenAI)
- Google-Extended (Google)
- Applebot-Extended (Apple)
- Bytespider (ByteDance)