Claude-SearchBot per robots.txt blockieren
Wenn Sie Claude-SearchBot komplett aussperren wollen, fügen Sie folgenden Block in Ihre /robots.txt ein:
User-agent: Claude-SearchBot Disallow: /
Claude-SearchBot respektiert robots.txt zuverlässig — eine korrekte Disallow-Regel reicht aus.
Claude-SearchBot ausdrücklich erlauben
Falls Sie sicherstellen wollen, dass Claude-SearchBot Zugriff hat — zum Beispiel weil Sie gezielt Sichtbarkeit in Anthropic-KI erreichen wollen:
User-agent: Claude-SearchBot Allow: /
Hinweis: Ein expliziter Allow überschreibt eine wildcardige Disallow-Regel auf User-agent: *. Wenn Sie also generell alle Bots sperren und nur Claude-SearchBot reinlassen wollen, ist das die korrekte Schreibweise.
Sollten Sie Claude-SearchBot blockieren?
Such-Crawler wie Claude-SearchBot sollten Sie erlauben, wenn Sie in den Live-Antworten von Anthropic zitiert werden wollen. Block bedeutet: Sie verschwinden aus dieser KI-Suche direkt. Für die meisten Mittelständler ist das ein klarer Verlust an Reichweite und qualifiziertem Traffic.
Den Status für meine Domain prüfen
Wenn Sie wissen wollen, wie Claude-SearchBot aktuell auf Ihre Domain zugreift, nutzen Sie unseren kostenlosen AI-Crawler-Checker. Domain eintragen, in zwei Sekunden sehen Sie den Status für Claude-SearchBot und elf weitere relevante AI-Bots, inklusive der konkreten robots.txt-Regel, die für den Status verantwortlich ist.
Weitere Bots von Anthropic
- ClaudeBot — Trainings-Crawler. ClaudeBot ist der Trainings-Crawler von Anthropic für die Claude-Modelle.
- Claude-User — Live-Abruf. Claude-User holt eine URL live, wenn ein Nutzer Claude darum bittet.
Andere Such-Crawler im Vergleich
- OAI-SearchBot (OpenAI)
- PerplexityBot (Perplexity)