Claude-User per robots.txt blockieren
Wenn Sie Claude-User komplett aussperren wollen, fügen Sie folgenden Block in Ihre /robots.txt ein:
User-agent: Claude-User Disallow: /
Wichtig: Claude-User respektiert robots.txt nur teilweise. Für einen verlässlichen Block brauchen Sie zusätzlich Server-Side-Filtering — entweder eine User-Agent-Regel im Reverse-Proxy (NGINX, Apache, Cloudflare WAF) oder ein IP-Range-Block aus der offiziellen Doku.
Claude-User ausdrücklich erlauben
Falls Sie sicherstellen wollen, dass Claude-User Zugriff hat — zum Beispiel weil Sie gezielt Sichtbarkeit in Anthropic-KI erreichen wollen:
User-agent: Claude-User Allow: /
Hinweis: Ein expliziter Allow überschreibt eine wildcardige Disallow-Regel auf User-agent: *. Wenn Sie also generell alle Bots sperren und nur Claude-User reinlassen wollen, ist das die korrekte Schreibweise.
Sollten Sie Claude-User blockieren?
User-Fetch-Bots wie Claude-User sollten Sie erlauben. Block bedeutet: Wenn ein Nutzer der Anthropic-KI direkt nach Ihrer URL fragt, kann die KI Ihre Seite nicht öffnen. Das ist fast immer unerwünscht — der Nutzer fragt explizit nach Ihnen, und Sie machen die Tür zu.
Den Status für meine Domain prüfen
Wenn Sie wissen wollen, wie Claude-User aktuell auf Ihre Domain zugreift, nutzen Sie unseren kostenlosen AI-Crawler-Checker. Domain eintragen, in zwei Sekunden sehen Sie den Status für Claude-User und elf weitere relevante AI-Bots, inklusive der konkreten robots.txt-Regel, die für den Status verantwortlich ist.
Weitere Bots von Anthropic
- ClaudeBot — Trainings-Crawler. ClaudeBot ist der Trainings-Crawler von Anthropic für die Claude-Modelle.
- Claude-SearchBot — Such-Crawler. Claude-SearchBot indexiert das Web für Claudes Suchfunktion.
Andere Live-Abruf im Vergleich
- ChatGPT-User (OpenAI)
- Perplexity-User (Perplexity)