Lista de referencia

La lista de crawlers IA 2026: los 59 agentes

Esta lista abarca 59 crawlers de IA y de búsqueda según la documentación de los fabricantes (a 08.10.2026), divididos en tres grupos: consultas en vivo, crawlers de entrenamiento y búsqueda con IA. Se genera directamente desde el motor de detección de KI-Console. Los agentes activados por el usuario como ChatGPT-User, Perplexity-User, Amzn-User y Google-Agent no siempre respetan robots.txt.

Entrenamiento vs vivo vs búsqueda

El token por sí solo no basta. El grupo indica qué significa probablemente la visita.

LA

Consultas en vivo

Una persona pide a un sistema IA que lea o compruebe una página, y la consulta ocurre en ese momento. Estas visitas son una señal fuerte de demanda concreta.

TC

Crawlers de entrenamiento

Los agentes de entrenamiento recogen contenido público según su propio calendario. Pueden apoyar conocimiento futuro del modelo, pero no prueban que hoy un usuario haya preguntado por ti.

KS

Crawlers de búsqueda IA

Los crawlers de búsqueda e índice alimentan sistemas de búsqueda que pueden apoyar respuestas IA. La crawlability clásica sigue siendo parte de la visibilidad IA.

Consultas en vivo

Primero las consultas en vivo 18 tokens

Estos agentes suelen aparecer cuando un producto IA obtiene una página para una acción de usuario, una respuesta o una investigación concreta.

Token user-agent	Contexto conocido
`ChatGPT-User`	Consulta en vivo de OpenAI cuando un usuario de ChatGPT pide acceso a una página; según OpenAI, robots.txt puede no aplicarse. Detalles
`OAI-SearchBot`	Crawler de búsqueda OpenAI para retrieval y respuestas apoyadas por búsqueda. Detalles
`OAI-AdsBot`	OpenAI revisa las páginas de destino enviadas como anuncios en ChatGPT; sin entrenamiento, comportamiento respecto a robots.txt sin documentar. Detalles
`Claude-User`	Consulta en vivo Anthropic cuando Claude lee una página para una acción de usuario. Detalles
`Claude-SearchBot`	Crawler de búsqueda Anthropic para resultados Claude apoyados por búsqueda. Detalles
`Perplexity-User`	Consulta en vivo de Perplexity para la pregunta de un usuario; según Perplexity, normalmente ignora robots.txt. Detalles
`Meta-ExternalFetcher`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`MistralAI-User`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`DuckAssistBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Google-CloudVertexBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Kimi-User`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Manus-User`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`NotebookLM`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Google-GeminiNotebook`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Google-Agent`	Agentes en la infraestructura de Google navegan en nombre de un usuario; Google lo incluye entre los fetchers activados por el usuario, que en general ignoran robots.txt. Detalles
`Amzn-User`	Consulta en vivo de Amazon para peticiones de usuarios, como Alexa; según Amazon puede no seguir todas las directivas de robots.txt. Detalles
`kagi-fetcher`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Gemini-Deep-Research`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles

Entrenamiento

Crawlers de entrenamiento y modelo 28 tokens

Estos agentes se asocian a entrenamiento, recogida de datos o indexación IA amplia. El proveedor controla calendario y cobertura.

Token user-agent	Contexto conocido
`GPTBot`	Crawler de entrenamiento OpenAI para decisiones de acceso a contenido web público. Detalles
`ClaudeBot`	Crawler de entrenamiento Anthropic para acceso a datos relacionados con Claude. Detalles
`anthropic-ai`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Claude-Web`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Google-Extended`	Token de control Google para uso en Gemini y Vertex AI, no el Googlebot clásico. Detalles
`Applebot-Extended`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`meta-externalagent`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Amazonbot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Bytespider`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`CCBot`	Crawler de Common Crawl; los datasets de este ecosistema se usan ampliamente en pipelines de entrenamiento IA. Detalles
`cohere-training-data-crawler`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`cohere-ai`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`AI2Bot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Diffbot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`ImagesiftBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Webzio-Extended`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`DeepSeekBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`TongyiBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`YiyanBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`ChatGLM-Spider`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`bedrockbot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`PhindBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Bravebot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`omgili`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`PanguBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Timpibot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`YouBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`PetalBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles

Búsqueda IA

Búsqueda IA y crawlers de índice 13 tokens

Estos crawlers crean o refrescan índices de búsqueda que pueden apoyar respuestas IA, búsqueda de asistentes o capas de retrieval.

Token user-agent	Contexto conocido
`PerplexityBot`	Crawler de búsqueda de Perplexity: muestra y enlaza sitios en los resultados de Perplexity; según Perplexity no se usa para entrenar modelos de IA. Detalles
`Amzn-SearchBot`	Crawler de búsqueda de Amazon (por ejemplo para Alexa), sin entrenamiento de IA generativa; respeta robots.txt. Detalles
`meta-webindexer`	Crawler de búsqueda de Meta que mejora los resultados de búsqueda de Meta AI; una regla Disallow lo bloquea. Detalles
`Googlebot`	Crawler de Google Search; sigue siendo relevante porque las respuestas IA a menudo dependen de índices de búsqueda. Detalles
`GoogleOther`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Bingbot`	Crawler de Microsoft Bing; relevante para Copilot y retrieval apoyado por búsqueda. Detalles
`DuckDuckBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`ExaBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`TavilyBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`LinkupBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`YandexAdditional`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`iAskBot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles
`Applebot`	Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. Detalles

Inicio robots.txt para copiar

Úsalo como punto de partida prudente para los diez agentes core que KI-Console normalmente comprueba primero. Adapta rutas si áreas privadas, checkout o endpoints de aplicación deben seguir cerrados.

Grupo core-agent curado

User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Notas honestas

Las consultas activadas por el usuario (ChatGPT-User, Perplexity-User, Amzn-User, Google-Agent) no siempre respetan robots.txt. Los bloqueos firmes requieren reglas de servidor o cortafuegos. Según Anthropic, Claude-User respeta robots.txt.
La lista cambia constantemente porque los proveedores renombran, añaden y retiran agentes.
Grok y xAI no tienen actualmente un token crawler documentado en este motor, así que no inventamos uno.
Esta página se genera directamente desde nuestro motor de detección.
Información de los fabricantes a 08.10.2026 (OpenAI, Anthropic, Google, Perplexity, Amazon, Meta). Los nombres y el comportamiento cambian; consulta la página del fabricante para decisiones importantes.

Respuestas directas

Lo que primero preguntan los propietarios de sitios escépticos

KI-Console no vende visibilidad mágica. Hacemos tu sitio más legible para los sistemas de IA y mostramos pruebas cuando el tracker o los logs las aportan.

¿Por qué GPTBot y ChatGPT-User están separados?

GPTBot se asocia a entrenamiento y recogida de datos. ChatGPT-User es una consulta en vivo cuando una acción de usuario pide a ChatGPT leer una página. Prueban cosas distintas.

¿Debo permitir todos los crawlers de la lista?

No. Usa la lista para definir una política intencional. Muchos sitios públicos permiten los agentes live y búsqueda importantes, mientras bloquean áreas sensibles o de poco valor.

¿De dónde viene el número :count?

La página cuenta las entradas actuales de KNOWN_CRAWLER_BOT_GROUPS en KI-Console. Cuando cambia el motor, esta página cambia con él.

¿Todos los crawlers de IA respetan robots.txt?

No. Según sus fabricantes, los crawlers de entrenamiento y de búsqueda como GPTBot, ClaudeBot, PerplexityBot o Amzn-SearchBot lo respetan. Las consultas activadas por el usuario como ChatGPT-User, Perplexity-User, Amzn-User y Google-Agent no siempre o en absoluto, porque las desencadena una persona. Según Anthropic, Claude-User respeta robots.txt.

¿PerplexityBot es un crawler de entrenamiento?

No. Según Perplexity, PerplexityBot sirve para mostrar y enlazar sitios en los resultados de búsqueda y no se usa para rastrear contenido para modelos fundacionales de IA. Por eso está en el grupo de búsqueda con IA. Perplexity-User es la consulta separada cuando alguien hace una pregunta.

Comprueba tu sitio

Mira qué señales IA funcionan ahora

Empieza con el escaneo gratis. Con una cuenta verificas el dominio, guardas historial, generas archivos y documentas visitas de crawlers en el tiempo.

Iniciar escaneo gratis Registrarse gratis