Crawlers OpenAI
ChatGPT lit les pages publiques via trois agents OpenAI : GPTBot collecte des données d’entraînement, OAI-SearchBot construit l’index de la recherche ChatGPT, ChatGPT-User récupère des pages quand quelqu’un le demande. Selon OpenAI, les règles robots.txt peuvent ne pas s’appliquer à ChatGPT-User. Un quatrième agent, OAI-AdsBot, ne vérifie que les pages de destination des annonces.
OpenAI
Une visite de GPTBot, de ChatGPT-User et d’OAI-SearchBot ne signifient pas la même chose. Le jeton indique quel type d’accès a eu lieu. Le quatrième agent OpenAI, OAI-AdsBot, ne vérifie que les pages de destination des annonces dans ChatGPT et n’a rien à voir avec l’entraînement ou la recherche.
Entraînement
GPTBot
GPTBot collecte du contenu web qu’OpenAI peut utiliser pour entraîner ses modèles. Le bloquer signale que vos contenus ne doivent pas servir à l’entraînement. L’autoriser est une décision de politique, pas la preuve d’une réponse en direct dans ChatGPT.
Appels live
ChatGPT-User
ChatGPT-User est le signal le plus fort que quelqu’un a demandé à ChatGPT d’accéder à une page, ou qu’un outil GPT l’a demandée à l’instant. OpenAI indique que les règles robots.txt peuvent ne pas s’appliquer ici, car une personne déclenche l’appel. Un blocage n’est donc pas une garantie.
Recherche IA
OAI-SearchBot
OAI-SearchBot rend les pages trouvables dans la recherche ChatGPT. Selon OpenAI, le bloquer exclut un site des réponses de recherche, même s’il peut encore apparaître comme simple lien ; les changements prennent environ 24 heures.
Si vous voulez que les systèmes liés à ChatGPT accèdent aux contenus publics, nommez explicitement GPTBot, OAI-SearchBot et ChatGPT-User. Les chemins privés restent bloqués. Vous pouvez autoriser la recherche et les appels live et ne bloquer que GPTBot. Pour ChatGPT-User, robots.txt n’est pas un moyen de blocage fiable ; un blocage ferme exige des règles serveur ou pare-feu.
Règles OpenAI de départ
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
Sitemap: https://www.example.com/sitemap.xmlD'abord par l'entraînement : votre page figurait dans les données dont le modèle a appris. Vous n'avez plus prise là-dessus et ne pouvez pas le vérifier. Ensuite par la recherche : OAI-SearchBot garde la page dans un index où ChatGPT puise au besoin. Enfin par la consultation en direct : quelqu'un pose une question et ChatGPT va chercher la page à cet instant. Seuls les deux derniers chemins se pilotent — et c'est là que se joue le fait que votre entreprise soit décrite telle qu'elle est aujourd'hui ou d'après un instantané périmé.
Une consultation n'est pas une visite de navigateur. Aucun JavaScript ne s'exécute, aucune souris ne bouge, aucun volet ne s'ouvre. Ce qui figure dans le code source compte ; ce qu'un script charge ensuite est le plus souvent absent. Le texte dans une image est absent lui aussi — un prix sur un visuel n'existe tout simplement pas pour un système d'IA. Vérifiez-le sans outil : ouvrez la page, désactivez JavaScript dans le navigateur, rechargez. Ce qui reste lisible est à peu près ce qui arrive.
Un Disallow dans robots.txt, souvent resté d'une ancienne phase de test. Un pare-feu ou une protection anti-robots qui refuse en bloc les agents inconnus — la requête n'arrive alors même pas. Des contenus visibles seulement après une connexion ou une fenêtre de consentement. Une page dont l'information tient dans une image. Une page très longue dont les éléments importants sont tout en bas et disparaissent à la troncature. Et le cas le plus fréquent : la question que pose le client n'est traitée nulle part comme une question sur le site.
Ouvrez votre robots.txt dans le navigateur et lisez si GPTBot, ChatGPT-User et OAI-SearchBot y sont autorisés. Désactivez JavaScript et vérifiez que votre message essentiel tient toujours. Sur votre page la plus importante, cherchez les trois questions que les clients posent au téléphone : y figurent-elles comme questions, avec une réponse dessous ? Consultez vos journaux serveur pour ces trois agents. Et interrogez ChatGPT sur votre entreprise : la réponse obtenue est le point de départ le plus honnête possible.
L'accès se mesure : quel agent a récupéré quelle page, quand et avec quel résultat. Ce qui ne se mesure pas, c'est de savoir si cela s'est traduit par une mention. OpenAI ne publie aucune statistique sur le nombre de réponses citant votre page — personne ne peut le promettre sérieusement, et qui vend un chiffre l'a estimé. Ce que vous pouvez faire : prouver l'accès, interroger régulièrement ChatGPT sur votre entreprise et comparer les réponses sur plusieurs mois. C'est moins confortable qu'un indicateur, mais c'est exact.
KI-Console reconnaît GPTBot, ChatGPT-User et OAI-SearchBot dans les logs importés et via le tracker lorsqu'il est installé. Le Radar sépare les groupes pour que l'accès live ne disparaisse pas dans du trafic bot générique.
Une visite de crawler ne garantit ni classement, ni inclusion, ni citation, ni réponse positive. Elle prouve un accès technique à un instant donné. Un fichier llms.txt n’y change rien : OpenAI n’a pas promis de l’exploiter.
Réponses directes
KI-Console ne vend pas de visibilité magique. Nous rendons votre site plus lisible pour les systèmes d’IA et montrons des preuves quand le tracker ou les logs les fournissent.
Non. GPTBot est lié à l'entraînement ou à la collecte de données. ChatGPT-User est un appel live lié à une action utilisateur ou à une demande d'outil.
Oui, robots.txt peut nommer les agents séparément : vous autorisez ChatGPT-User et OAI-SearchBot et bloquez GPTBot pour l’entraînement. Notez qu’OpenAI ne s’engage pas à respecter robots.txt pour les appels déclenchés par l’utilisateur comme ChatGPT-User.
Oui. Le moteur de détection suit GPTBot, ChatGPT-User, OAI-SearchBot et OAI-AdsBot et les affiche avec leur groupe de crawlers.
Pour une consultation en direct, immédiatement : ChatGPT-User va chercher la page au moment où quelqu'un pose la question. Pour l'index de recherche, cela prend des jours voire des semaines, selon le retour d'OAI-SearchBot. Pour l'entraînement, jamais : ce qui est dans le modèle ne change qu'avec le modèle suivant. Pour corriger une information fausse sur votre entreprise, corrigez-la donc sur le site et assurez-vous que la consultation en direct fonctionne — c'est ce qui agit le plus vite.
Pour la visibilité d'aujourd'hui, très peu : GPTBot concerne l'entraînement futur, pas la réponse du jour. Mais qui bloque GPTBot et bloque par mégarde ChatGPT-User et OAI-SearchBot avec lui — par une règle globale ou une protection anti-robots — se coupe de la consultation en direct. C'est l'erreur que nous voyons le plus souvent : l'intention visait l'entraînement, le dommage a touché la visibilité.
En général non parce que le concurrent est plus grand, mais parce que chez lui la réponse à la question posée figure noir sur blanc. Un modèle cite ce qu'il peut citer. Celui qui écrit « nous réparons les véhicules hybrides de toutes marques à Berne et alentours » est cité sur cette question précise ; celui qui écrit « votre partenaire de confiance en mobilité » ne l'est pas. Comparez votre page et la sienne face à la question qui vous intéresse : la différence tient presque toujours à la précision, pas à la taille.
Vérifier votre site
Commencez par le scan gratuit. Avec un compte, vous vérifiez le domaine, gardez l'historique, générez des fichiers et documentez les visites de crawlers.