GPTBot per robots.txt blockieren
Wenn Sie GPTBot komplett aussperren wollen, fügen Sie folgenden Block in Ihre /robots.txt ein:
User-agent: GPTBot Disallow: /
GPTBot respektiert robots.txt zuverlässig — eine korrekte Disallow-Regel reicht aus.
GPTBot ausdrücklich erlauben
Falls Sie sicherstellen wollen, dass GPTBot Zugriff hat — zum Beispiel weil Sie gezielt Sichtbarkeit in OpenAI-KI erreichen wollen:
User-agent: GPTBot Allow: /
Hinweis: Ein expliziter Allow überschreibt eine wildcardige Disallow-Regel auf User-agent: *. Wenn Sie also generell alle Bots sperren und nur GPTBot reinlassen wollen, ist das die korrekte Schreibweise.
Sollten Sie GPTBot blockieren?
Faustregel: Trainings-Crawler wie GPTBot dürfen Sie blockieren, ohne Sichtbarkeit zu verlieren. Ihre aktuelle Präsenz in OpenAI-KI bleibt unverändert — Sie verhindern nur, dass zukünftige Modelle mit Ihren Texten trainiert werden. Sinnvoll, wenn Sie urheberrechtliche oder strategische Bedenken haben. Nicht sinnvoll, wenn Sie hoffen, dass Sie irgendwann im Modell vorkommen.
Den Status für meine Domain prüfen
Wenn Sie wissen wollen, wie GPTBot aktuell auf Ihre Domain zugreift, nutzen Sie unseren kostenlosen AI-Crawler-Checker. Domain eintragen, in zwei Sekunden sehen Sie den Status für GPTBot und elf weitere relevante AI-Bots, inklusive der konkreten robots.txt-Regel, die für den Status verantwortlich ist.
Weitere Bots von OpenAI
- OAI-SearchBot — Such-Crawler. OAI-SearchBot indexiert Webseiten für die ChatGPT-Live-Suche.
- ChatGPT-User — Live-Abruf. ChatGPT-User holt eine Seite live, wenn ein Nutzer ChatGPT bittet, eine bestimmte URL zu lesen.
Andere Trainings-Crawler im Vergleich
- ClaudeBot (Anthropic)
- Google-Extended (Google)
- Applebot-Extended (Apple)
- Bytespider (ByteDance)