OAI-SearchBot per robots.txt blockieren
Wenn Sie OAI-SearchBot komplett aussperren wollen, fügen Sie folgenden Block in Ihre /robots.txt ein:
User-agent: OAI-SearchBot Disallow: /
OAI-SearchBot respektiert robots.txt zuverlässig — eine korrekte Disallow-Regel reicht aus.
OAI-SearchBot ausdrücklich erlauben
Falls Sie sicherstellen wollen, dass OAI-SearchBot Zugriff hat — zum Beispiel weil Sie gezielt Sichtbarkeit in OpenAI-KI erreichen wollen:
User-agent: OAI-SearchBot Allow: /
Hinweis: Ein expliziter Allow überschreibt eine wildcardige Disallow-Regel auf User-agent: *. Wenn Sie also generell alle Bots sperren und nur OAI-SearchBot reinlassen wollen, ist das die korrekte Schreibweise.
Sollten Sie OAI-SearchBot blockieren?
Such-Crawler wie OAI-SearchBot sollten Sie erlauben, wenn Sie in den Live-Antworten von OpenAI zitiert werden wollen. Block bedeutet: Sie verschwinden aus dieser KI-Suche direkt. Für die meisten Mittelständler ist das ein klarer Verlust an Reichweite und qualifiziertem Traffic.
Den Status für meine Domain prüfen
Wenn Sie wissen wollen, wie OAI-SearchBot aktuell auf Ihre Domain zugreift, nutzen Sie unseren kostenlosen AI-Crawler-Checker. Domain eintragen, in zwei Sekunden sehen Sie den Status für OAI-SearchBot und elf weitere relevante AI-Bots, inklusive der konkreten robots.txt-Regel, die für den Status verantwortlich ist.
Weitere Bots von OpenAI
- GPTBot — Trainings-Crawler. GPTBot ist der Trainings-Crawler von OpenAI.
- ChatGPT-User — Live-Abruf. ChatGPT-User holt eine Seite live, wenn ein Nutzer ChatGPT bittet, eine bestimmte URL zu lesen.
Andere Such-Crawler im Vergleich
- Claude-SearchBot (Anthropic)
- PerplexityBot (Perplexity)