Google-Extended per robots.txt blockieren
Wenn Sie Google-Extended komplett aussperren wollen, fügen Sie folgenden Block in Ihre /robots.txt ein:
User-agent: Google-Extended Disallow: /
Google-Extended respektiert robots.txt zuverlässig — eine korrekte Disallow-Regel reicht aus.
Google-Extended ausdrücklich erlauben
Falls Sie sicherstellen wollen, dass Google-Extended Zugriff hat — zum Beispiel weil Sie gezielt Sichtbarkeit in Google-KI erreichen wollen:
User-agent: Google-Extended Allow: /
Hinweis: Ein expliziter Allow überschreibt eine wildcardige Disallow-Regel auf User-agent: *. Wenn Sie also generell alle Bots sperren und nur Google-Extended reinlassen wollen, ist das die korrekte Schreibweise.
Sollten Sie Google-Extended blockieren?
Faustregel: Trainings-Crawler wie Google-Extended dürfen Sie blockieren, ohne Sichtbarkeit zu verlieren. Ihre aktuelle Präsenz in Google-KI bleibt unverändert — Sie verhindern nur, dass zukünftige Modelle mit Ihren Texten trainiert werden. Sinnvoll, wenn Sie urheberrechtliche oder strategische Bedenken haben. Nicht sinnvoll, wenn Sie hoffen, dass Sie irgendwann im Modell vorkommen.
Den Status für meine Domain prüfen
Wenn Sie wissen wollen, wie Google-Extended aktuell auf Ihre Domain zugreift, nutzen Sie unseren kostenlosen AI-Crawler-Checker. Domain eintragen, in zwei Sekunden sehen Sie den Status für Google-Extended und elf weitere relevante AI-Bots, inklusive der konkreten robots.txt-Regel, die für den Status verantwortlich ist.
Andere Trainings-Crawler im Vergleich
- GPTBot (OpenAI)
- ClaudeBot (Anthropic)
- Applebot-Extended (Apple)
- Bytespider (ByteDance)