Crawlers OpenAI
Il n'existe pas un seul crawler ChatGPT. OpenAI utilise différents agents pour l'entraînement, l'accès live déclenché par l'utilisateur et le retrieval appuyé par recherche. Les séparer rend robots.txt et les preuves de visite plus clairs.
OpenAI
Une visite GPTBot, une visite ChatGPT-User et une visite OAI-SearchBot ne signifient pas la même chose. Le token montre quel type d'accès a eu lieu.
Entraînement
GPTBot
GPTBot est le crawler OpenAI que la plupart des équipes associent à l'entraînement ou à la collecte web large. L'autoriser est une décision de politique, pas une preuve de réponse live dans ChatGPT.
Appels live
ChatGPT-User
ChatGPT-User est le signal le plus fort qu'une personne a demandé à ChatGPT d'accéder à une page ou qu'un outil a demandé cette page à cet instant.
Recherche IA
OAI-SearchBot
OAI-SearchBot appartient aux workflows de recherche et retrieval. Il peut compter lorsque ChatGPT utilise des informations web actuelles plutôt que seulement la mémoire du modèle.
Si vous voulez que les systèmes liés à ChatGPT atteignent le contenu public, nommez explicitement les trois agents. Vous pouvez toujours bloquer les chemins privés ou autoriser les appels live tout en limitant l'accès d'entraînement.
Règles OpenAI de départ
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
Sitemap: https://www.example.com/sitemap.xmlD'abord par l'entraînement : votre page figurait dans les données dont le modèle a appris. Vous n'avez plus prise là-dessus et ne pouvez pas le vérifier. Ensuite par la recherche : OAI-SearchBot garde la page dans un index où ChatGPT puise au besoin. Enfin par la consultation en direct : quelqu'un pose une question et ChatGPT va chercher la page à cet instant. Seuls les deux derniers chemins se pilotent — et c'est là que se joue le fait que votre entreprise soit décrite telle qu'elle est aujourd'hui ou d'après un instantané périmé.
Une consultation n'est pas une visite de navigateur. Aucun JavaScript ne s'exécute, aucune souris ne bouge, aucun volet ne s'ouvre. Ce qui figure dans le code source compte ; ce qu'un script charge ensuite est le plus souvent absent. Le texte dans une image est absent lui aussi — un prix sur un visuel n'existe tout simplement pas pour un système d'IA. Vérifiez-le sans outil : ouvrez la page, désactivez JavaScript dans le navigateur, rechargez. Ce qui reste lisible est à peu près ce qui arrive.
Un Disallow dans robots.txt, souvent resté d'une ancienne phase de test. Un pare-feu ou une protection anti-robots qui refuse en bloc les agents inconnus — la requête n'arrive alors même pas. Des contenus visibles seulement après une connexion ou une fenêtre de consentement. Une page dont l'information tient dans une image. Une page très longue dont les éléments importants sont tout en bas et disparaissent à la troncature. Et le cas le plus fréquent : la question que pose le client n'est traitée nulle part comme une question sur le site.
Ouvrez votre robots.txt dans le navigateur et lisez si GPTBot, ChatGPT-User et OAI-SearchBot y sont autorisés. Désactivez JavaScript et vérifiez que votre message essentiel tient toujours. Sur votre page la plus importante, cherchez les trois questions que les clients posent au téléphone : y figurent-elles comme questions, avec une réponse dessous ? Consultez vos journaux serveur pour ces trois agents. Et interrogez ChatGPT sur votre entreprise : la réponse obtenue est le point de départ le plus honnête possible.
L'accès se mesure : quel agent a récupéré quelle page, quand et avec quel résultat. Ce qui ne se mesure pas, c'est de savoir si cela s'est traduit par une mention. OpenAI ne publie aucune statistique sur le nombre de réponses citant votre page — personne ne peut le promettre sérieusement, et qui vend un chiffre l'a estimé. Ce que vous pouvez faire : prouver l'accès, interroger régulièrement ChatGPT sur votre entreprise et comparer les réponses sur plusieurs mois. C'est moins confortable qu'un indicateur, mais c'est exact.
KI-Console reconnaît GPTBot, ChatGPT-User et OAI-SearchBot dans les logs importés et via le tracker lorsqu'il est installé. Le Radar sépare les groupes pour que l'accès live ne disparaisse pas dans du trafic bot générique.
Une visite de crawler ne garantit ni ranking, ni inclusion, ni citation, ni réponse positive. Elle prouve un accès technique à un moment donné, la base que vous pouvez contrôler.
Réponses directes
KI-Console ne vend pas de visibilité magique. Nous rendons votre site plus lisible pour les systèmes d'IA et montrons des preuves quand les logs le permettent.
Non. GPTBot est lié à l'entraînement ou à la collecte de données. ChatGPT-User est un appel live lié à une action utilisateur ou à une demande d'outil.
Oui, robots.txt peut nommer les agents séparément. Vous pouvez ainsi soutenir les lectures live tout en prenant une autre décision pour l'accès d'entraînement.
Oui. Le moteur de détection suit GPTBot, ChatGPT-User et OAI-SearchBot et les affiche avec leur groupe de crawler.
Pour une consultation en direct, immédiatement : ChatGPT-User va chercher la page au moment où quelqu'un pose la question. Pour l'index de recherche, cela prend des jours voire des semaines, selon le retour d'OAI-SearchBot. Pour l'entraînement, jamais : ce qui est dans le modèle ne change qu'avec le modèle suivant. Pour corriger une information fausse sur votre entreprise, corrigez-la donc sur le site et assurez-vous que la consultation en direct fonctionne — c'est ce qui agit le plus vite.
Pour la visibilité d'aujourd'hui, très peu : GPTBot concerne l'entraînement futur, pas la réponse du jour. Mais qui bloque GPTBot et bloque par mégarde ChatGPT-User et OAI-SearchBot avec lui — par une règle globale ou une protection anti-robots — se coupe de la consultation en direct. C'est l'erreur que nous voyons le plus souvent : l'intention visait l'entraînement, le dommage a touché la visibilité.
En général non parce que le concurrent est plus grand, mais parce que chez lui la réponse à la question posée figure noir sur blanc. Un modèle cite ce qu'il peut citer. Celui qui écrit « nous réparons les véhicules hybrides de toutes marques à Berne et alentours » est cité sur cette question précise ; celui qui écrit « votre partenaire de confiance en mobilité » ne l'est pas. Comparez votre page et la sienne face à la question qui vous intéresse : la différence tient presque toujours à la précision, pas à la taille.
Vérifier votre site
Commencez par le scan gratuit. Avec un compte, vous vérifiez le domaine, gardez l'historique, générez des fichiers et documentez les visites de crawlers.