robots.txt-Empfehlung
Wenn ChatGPT-nahe Systeme öffentliche Inhalte erreichen sollen, nennen Sie die drei Agents explizit. Private Pfade können weiter blockiert bleiben; Sie können auch Live-Abrufe erlauben und breiteren Trainingszugriff begrenzen.
OpenAI-Starterregeln
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
Sitemap: https://www.example.com/sitemap.xml
Die drei Wege in eine ChatGPT-Antwort
Erstens über das Training: Ihre Seite war in den Daten, aus denen das Modell gelernt hat. Darauf haben Sie heute keinen Einfluss mehr, und Sie können es auch nicht nachprüfen. Zweitens über die Suche: OAI-SearchBot hat die Seite in einem Index, aus dem ChatGPT bei Bedarf zieht. Drittens über den Live-Abruf: Jemand fragt etwas, ChatGPT holt die Seite in diesem Moment. Nur die letzten beiden Wege lassen sich beeinflussen – und genau dort entscheidet sich, ob Ihre Firma heute genannt wird oder eine veraltete Beschreibung aus dem Training.
Was ChatGPT beim Abruf tatsächlich sieht
Ein Abruf ist kein Browserbesuch. Es wird kein JavaScript ausgeführt, keine Maus bewegt, kein Aufklapper geöffnet. Was im Quelltext steht, zählt; was erst ein Skript nachlädt, ist meist nicht da. Auch Text in Bildern ist nicht da – ein Preis auf einer Grafik existiert für ein KI-System schlicht nicht. Prüfen lässt sich das ohne Werkzeug: Seite öffnen, JavaScript im Browser abschalten, neu laden. Was dann noch lesbar ist, ist ungefähr das, was ankommt.
Sechs Gründe, warum eine Seite nicht auftaucht
Ein Disallow in der robots.txt, oft aus einer alten Testphase übrig. Eine Firewall oder ein Bot-Schutz, der unbekannte Agents pauschal abweist – dann kommt der Abruf gar nicht erst an. Inhalte, die erst nach Anmeldung oder Zustimmungsdialog sichtbar sind. Eine Seite, deren Aussage nur im Bild steht. Eine sehr lange Seite, bei der die wichtigen Angaben ganz unten stehen und beim Kürzen wegfallen. Und der häufigste Fall: Die Frage, die der Kunde stellt, wird auf der Website nirgends als Frage beantwortet.
Was Sie in einer halben Stunde prüfen können
Rufen Sie Ihre robots.txt im Browser auf und lesen Sie nach, ob GPTBot, ChatGPT-User und OAI-SearchBot dort erlaubt sind. Schalten Sie JavaScript ab und prüfen Sie, ob Ihre Kernaussage noch dasteht. Suchen Sie auf Ihrer wichtigsten Seite nach den drei Fragen, die Kunden am Telefon stellen – stehen sie als Frage da, mit Antwort darunter? Schauen Sie in die Serverprotokolle nach den drei Agents. Und fragen Sie ChatGPT selbst nach Ihrer Firma: Was dabei herauskommt, ist der ehrlichste Ausgangswert, den Sie bekommen können.
Was sich messen lässt – und was nicht
Messbar ist der Zugriff: welcher Agent wann welche Seite geholt hat, mit welchem Ergebnis. Nicht messbar ist, ob daraus eine Nennung wurde. OpenAI liefert keine Statistik darüber, in wie vielen Antworten Ihre Seite genannt wurde – niemand kann das seriös versprechen, und wer eine Zahl dafür verkauft, hat sie geschätzt. Was Sie tun können: den Zugriff belegen, die eigene Firma regelmässig in ChatGPT abfragen und die Antworten über Monate vergleichen. Das ist unbequemer als eine Kennzahl, aber es stimmt.
Wie KI-Console Besuche belegt
KI-Console erkennt GPTBot, ChatGPT-User und OAI-SearchBot in hochgeladenen Logs und über den Tracker, wenn er installiert ist. Der Radar trennt die Gruppen, damit Live-Zugriff nicht in generischem Bot-Traffic verschwindet.
Was ein Besuch nicht beweist
Ein Crawler-Besuch garantiert kein Ranking, keine Aufnahme, kein Zitat und keine positive Antwort. Er belegt technischen Zugriff zu einem Zeitpunkt, also die Grundlage, die Sie kontrollieren können.