Bytespider per robots.txt blockieren
Wenn Sie Bytespider komplett aussperren wollen, fügen Sie folgenden Block in Ihre /robots.txt ein:
User-agent: Bytespider Disallow: /
Wichtig: Bytespider respektiert robots.txt nicht. Für einen verlässlichen Block brauchen Sie zusätzlich Server-Side-Filtering — entweder eine User-Agent-Regel im Reverse-Proxy (NGINX, Apache, Cloudflare WAF) oder ein IP-Range-Block aus der offiziellen Doku.
Bytespider ausdrücklich erlauben
Falls Sie sicherstellen wollen, dass Bytespider Zugriff hat — zum Beispiel weil Sie gezielt Sichtbarkeit in ByteDance-KI erreichen wollen:
User-agent: Bytespider Allow: /
Hinweis: Ein expliziter Allow überschreibt eine wildcardige Disallow-Regel auf User-agent: *. Wenn Sie also generell alle Bots sperren und nur Bytespider reinlassen wollen, ist das die korrekte Schreibweise.
Sollten Sie Bytespider blockieren?
Faustregel: Trainings-Crawler wie Bytespider dürfen Sie blockieren, ohne Sichtbarkeit zu verlieren. Ihre aktuelle Präsenz in ByteDance-KI bleibt unverändert — Sie verhindern nur, dass zukünftige Modelle mit Ihren Texten trainiert werden. Sinnvoll, wenn Sie urheberrechtliche oder strategische Bedenken haben. Nicht sinnvoll, wenn Sie hoffen, dass Sie irgendwann im Modell vorkommen.
Den Status für meine Domain prüfen
Wenn Sie wissen wollen, wie Bytespider aktuell auf Ihre Domain zugreift, nutzen Sie unseren kostenlosen AI-Crawler-Checker. Domain eintragen, in zwei Sekunden sehen Sie den Status für Bytespider und elf weitere relevante AI-Bots, inklusive der konkreten robots.txt-Regel, die für den Status verantwortlich ist.
Andere Trainings-Crawler im Vergleich
- GPTBot (OpenAI)
- ClaudeBot (Anthropic)
- Google-Extended (Google)
- Applebot-Extended (Apple)