Crawlers OpenAI
No existe un único crawler de ChatGPT. OpenAI usa distintos agentes para entrenamiento, acceso en vivo activado por usuarios y retrieval apoyado por búsqueda. Separarlos aclara decisiones robots.txt y prueba de visitas.
OpenAI
Una visita GPTBot, una visita ChatGPT-User y una visita OAI-SearchBot no significan lo mismo. El token indica qué tipo de acceso ocurrió.
Entrenamiento
GPTBot
GPTBot es el crawler OpenAI que muchos equipos asocian a entrenamiento o recogida web amplia. Permitirlo es una decisión de política, no prueba de una respuesta en vivo en ChatGPT.
Consultas en vivo
ChatGPT-User
ChatGPT-User es la señal más fuerte de que alguien pidió a ChatGPT acceder a una página o que una herramienta solicitó la página en ese momento.
Búsqueda IA
OAI-SearchBot
OAI-SearchBot pertenece a flujos de búsqueda y retrieval. Puede importar cuando ChatGPT usa información web actual en vez de solo memoria del modelo.
Si quieres que sistemas relacionados con ChatGPT alcancen contenido público, nombra explícitamente los tres agentes. Aun así puedes bloquear rutas privadas o permitir consultas en vivo limitando el acceso amplio de entrenamiento.
Reglas iniciales OpenAI
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
Sitemap: https://www.example.com/sitemap.xmlPrimero, a través del entrenamiento: su página estaba en los datos con los que aprendió el modelo. Sobre eso ya no tiene influencia ni forma de comprobarlo. Segundo, a través de la búsqueda: OAI-SearchBot guarda la página en un índice del que ChatGPT tira cuando hace falta. Tercero, a través de la consulta en directo: alguien pregunta y ChatGPT recupera la página en ese momento. Solo los dos últimos caminos se pueden dirigir, y ahí se decide si su empresa se describe como es hoy o según una instantánea caducada.
Una consulta no es una visita de navegador. No se ejecuta JavaScript, no se mueve el ratón, no se abre ningún desplegable. Cuenta lo que está en el código fuente; lo que carga después un script normalmente no está. El texto dentro de imágenes tampoco está: un precio sobre un gráfico sencillamente no existe para un sistema de IA. Puede comprobarlo sin herramientas: abra la página, desactive JavaScript en el navegador, recargue. Lo que siga siendo legible es más o menos lo que llega.
Un Disallow en robots.txt, a menudo resto de una fase de pruebas antigua. Un cortafuegos o una protección antibots que rechaza en bloque los agentes desconocidos: entonces la consulta ni siquiera llega. Contenidos visibles solo tras iniciar sesión o aceptar un diálogo de consentimiento. Una página cuya información está dentro de una imagen. Una página muy larga en la que los datos importantes están al final y caen al recortarla. Y el caso más frecuente: la pregunta que hace el cliente no se responde como pregunta en ningún sitio de la web.
Abra su robots.txt en el navegador y lea si GPTBot, ChatGPT-User y OAI-SearchBot están permitidos allí. Desactive JavaScript y compruebe si su mensaje esencial sigue estando. En su página más importante, busque las tres preguntas que los clientes hacen por teléfono: ¿están ahí como preguntas, con una respuesta debajo? Revise los registros del servidor en busca de esos tres agentes. Y pregúntele a ChatGPT por su propia empresa: lo que salga es el punto de partida más honesto que puede conseguir.
El acceso se mide: qué agente descargó qué página, cuándo y con qué resultado. Lo que no se mide es si eso se convirtió en una mención. OpenAI no publica ninguna estadística sobre cuántas respuestas nombraron su página; nadie puede prometerlo en serio, y quien venda una cifra la ha estimado. Lo que sí puede hacer: demostrar el acceso, preguntar con regularidad a ChatGPT por su propia empresa y comparar las respuestas a lo largo de meses. Es menos cómodo que un indicador, pero es cierto.
KI-Console reconoce GPTBot, ChatGPT-User y OAI-SearchBot en logs subidos y mediante el tracker cuando está instalado. El Radar separa los grupos para que el acceso en vivo no quede oculto en tráfico bot genérico.
Una visita crawler no garantiza ranking, inclusión, cita ni respuesta positiva. Prueba acceso técnico en un momento concreto, que es la base que puedes controlar.
Respuestas directas
KI-Console no vende visibilidad mágica. Hacemos tu sitio más legible para sistemas de IA y mostramos pruebas cuando los logs lo permiten.
No. GPTBot se asocia a entrenamiento o recogida de datos. ChatGPT-User es una consulta en vivo ligada a una acción de usuario o petición de herramienta.
Sí, robots.txt puede nombrar los agentes por separado. Así apoyas lecturas en vivo de usuarios mientras tomas otra decisión sobre acceso de entrenamiento.
Sí. El motor de detección sigue GPTBot, ChatGPT-User y OAI-SearchBot y los muestra con su grupo crawler.
Con la consulta en directo, de inmediato: ChatGPT-User recupera la página en el momento en que alguien pregunta. Con el índice de búsqueda tarda días o semanas, según cuándo vuelva OAI-SearchBot. Con el entrenamiento, ya nunca: lo que está en el modelo solo cambia con el modelo siguiente. Por eso, quien quiera corregir un dato falso sobre su empresa lo corrige en la web y se asegura de que la consulta en directo funcione: es lo que actúa más rápido.
Para la visibilidad de hoy, apenas, porque GPTBot atañe al entrenamiento futuro, no a la respuesta de hoy. Pero quien bloquea GPTBot y de paso bloquea sin querer a ChatGPT-User y OAI-SearchBot —con una regla general o una protección antibots— se corta la consulta en directo. Es el error que vemos con más frecuencia: la intención apuntaba al entrenamiento y el daño cayó en la visibilidad.
Normalmente no porque el competidor sea mayor, sino porque en su página la respuesta a la pregunta planteada está escrita con todas las letras. Un modelo nombra lo que puede citar. Quien escribe «reparamos vehículos híbridos de todas las marcas en Berna y alrededores» sale nombrado justo en esa pregunta; quien escribe «su socio competente en movilidad», no. Compare su página y la del competidor frente a la pregunta que le interesa: la diferencia está casi siempre en la concreción, no en el tamaño.
Comprueba tu sitio
Empieza con el escaneo gratis. Con una cuenta verificas el dominio, guardas historial, generas archivos y documentas visitas de crawlers en el tiempo.