robots.txt-Empfehlung
Wenn ChatGPT-nahe Systeme öffentliche Inhalte erreichen sollen, nennen Sie die drei Agents explizit. Private Pfade können weiter blockiert bleiben; Sie können auch Live-Abrufe erlauben und breiteren Trainingszugriff begrenzen.
OpenAI-Starterregeln
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
Sitemap: https://www.example.com/sitemap.xml
Wie KI-Console Besuche belegt
KI-Console erkennt GPTBot, ChatGPT-User und OAI-SearchBot in hochgeladenen Logs und über den Tracker, wenn er installiert ist. Der Radar trennt die Gruppen, damit Live-Zugriff nicht in generischem Bot-Traffic verschwindet.
Was ein Besuch nicht beweist
Ein Crawler-Besuch garantiert kein Ranking, keine Aufnahme, kein Zitat und keine positive Antwort. Er belegt technischen Zugriff zu einem Zeitpunkt, also die Grundlage, die Sie kontrollieren können.