Consultas en vivo
Una persona pide a un sistema IA que lea o compruebe una página, y la consulta ocurre en ese momento. Estas visitas son una señal fuerte de demanda concreta.
Lista de referencia
La lista de crawlers IA 2026: los 53 agentes
Esta página se genera directamente desde el motor de detección de KI-Console. Separa consultas en vivo activadas por usuarios, crawlers de entrenamiento y crawlers de búsqueda IA para no mezclar señales distintas.
Entrenamiento vs vivo vs búsqueda
El token por sí solo no basta. El grupo indica qué significa probablemente la visita.
Crawlers de entrenamiento
Los agentes de entrenamiento recogen contenido público según su propio calendario. Pueden apoyar conocimiento futuro del modelo, pero no prueban que hoy un usuario haya preguntado por ti.
Crawlers de búsqueda IA
Los crawlers de búsqueda e índice alimentan sistemas de búsqueda que pueden apoyar respuestas IA. La crawlability clásica sigue siendo parte de la visibilidad IA.
Consultas en vivo
Primero las consultas en vivo 14 tokens
Estos agentes suelen aparecer cuando un producto IA obtiene una página para una acción de usuario, una respuesta o una investigación concreta.
| Token user-agent | Contexto conocido |
|---|---|
ChatGPT-User |
Consulta en vivo OpenAI cuando un usuario ChatGPT pide acceso a una página. |
OAI-SearchBot |
Crawler de búsqueda OpenAI para retrieval y respuestas apoyadas por búsqueda. |
Claude-User |
Consulta en vivo Anthropic cuando Claude lee una página para una acción de usuario. |
Claude-SearchBot |
Crawler de búsqueda Anthropic para resultados Claude apoyados por búsqueda. |
Perplexity-User |
Consulta en vivo Perplexity para generación de respuesta o comprobación de página. |
Meta-ExternalFetcher |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
MistralAI-User |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
DuckAssistBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Google-CloudVertexBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Kimi-User |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Manus-User |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
NotebookLM |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
kagi-fetcher |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Gemini-Deep-Research |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Entrenamiento
Crawlers de entrenamiento y modelo 29 tokens
Estos agentes se asocian a entrenamiento, recogida de datos o indexación IA amplia. El proveedor controla calendario y cobertura.
| Token user-agent | Contexto conocido |
|---|---|
GPTBot |
Crawler de entrenamiento OpenAI para decisiones de acceso a contenido web público. |
ClaudeBot |
Crawler de entrenamiento Anthropic para acceso a datos relacionados con Claude. |
anthropic-ai |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Claude-Web |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Google-Extended |
Token de control Google para uso en Gemini y Vertex AI, no el Googlebot clásico. |
Applebot-Extended |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
meta-externalagent |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Amazonbot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Bytespider |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
CCBot |
Crawler de Common Crawl; los datasets de este ecosistema se usan ampliamente en pipelines de entrenamiento IA. |
PerplexityBot |
Crawler Perplexity para descubrimiento de índices y sistemas de respuesta. |
cohere-training-data-crawler |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
cohere-ai |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
AI2Bot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Diffbot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
ImagesiftBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Webzio-Extended |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
DeepSeekBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
TongyiBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
YiyanBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
ChatGLM-Spider |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
bedrockbot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
PhindBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Bravebot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
omgili |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
PanguBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Timpibot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
YouBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
PetalBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Búsqueda IA
Búsqueda IA y crawlers de índice 10 tokens
Estos crawlers crean o refrescan índices de búsqueda que pueden apoyar respuestas IA, búsqueda de asistentes o capas de retrieval.
| Token user-agent | Contexto conocido |
|---|---|
Googlebot |
Crawler de Google Search; sigue siendo relevante porque las respuestas IA a menudo dependen de índices de búsqueda. |
GoogleOther |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Bingbot |
Crawler de Microsoft Bing; relevante para Copilot y retrieval apoyado por búsqueda. |
DuckDuckBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
ExaBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
TavilyBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
LinkupBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
YandexAdditional |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
iAskBot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Applebot |
Agente conocido en este grupo; evalúalo por el significado del grupo y el contexto de tus logs. |
Inicio robots.txt para copiar
Úsalo como punto de partida prudente para los diez agentes core que KI-Console normalmente comprueba primero. Adapta rutas si áreas privadas, checkout o endpoints de aplicación deben seguir cerrados.
Grupo core-agent curado
User-agent: ClaudeBot
User-agent: GPTBot
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Perplexity-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlNotas honestas
- La lista cambia constantemente porque los proveedores renombran, añaden y retiran agentes.
- Grok y xAI no tienen actualmente un token crawler documentado en este motor, así que no inventamos uno.
- Esta página se genera directamente desde nuestro motor de detección.
Respuestas directas
Lo que primero preguntan los propietarios de sitios escépticos
KI-Console no vende visibilidad mágica. Hacemos tu sitio más legible para sistemas de IA y mostramos pruebas cuando los logs lo permiten.
¿Por qué GPTBot y ChatGPT-User están separados?
GPTBot se asocia a entrenamiento y recogida de datos. ChatGPT-User es una consulta en vivo cuando una acción de usuario pide a ChatGPT leer una página. Prueban cosas distintas.
¿Debo permitir todos los crawlers de la lista?
No. Usa la lista para definir una política intencional. Muchos sitios públicos permiten los agentes live y búsqueda importantes, mientras bloquean áreas sensibles o de poco valor.
¿De dónde viene el número :count?
La página cuenta las entradas actuales de KNOWN_CRAWLER_BOT_GROUPS en KI-Console. Cuando cambia el motor, esta página cambia con él.
Comprueba tu sitio
Mira qué señales IA funcionan ahora
Empieza con el escaneo gratis. Con una cuenta verificas el dominio, guardas historial, generas archivos y documentas visitas de crawlers en el tiempo.