Entrenamiento
ClaudeBot
Crawler de entrenamiento
ClaudeBot es el principal crawler Anthropic asociado a entrenamiento de modelos y decisiones de acceso amplio a la web pública.
Crawlers Anthropic
¿Claude lee tu sitio?
Claude lee páginas públicas mediante tres agentes de Anthropic: ClaudeBot recopila datos de entrenamiento, Claude-User obtiene una página cuando alguien pregunta a Claude por ella y Claude-SearchBot mejora la búsqueda. Anthropic indica que los tres respetan robots.txt. Si bloqueas Claude-User, Claude ya no puede obtener tu página para las preguntas de los usuarios.
Anthropic
Separar bien los agentes Claude
ClaudeBot, Claude-User y Claude-SearchBot describen patrones de acceso distintos. Separarlos ayuda a ver si Claude puede entrenar con, recuperar en vivo o alcanzar tus páginas públicas mediante búsqueda.
Consultas en vivo
Claude-User
Consulta en vivo de Claude
Claude-User aparece cuando Claude obtiene una página para una pregunta concreta de un usuario. Es la prueba de lectura en vivo que los responsables de sitios suelen querer ver. Según Anthropic respeta robots.txt: un bloqueo impide la consulta y puede reducir la visibilidad en la búsqueda web dirigida por el usuario.
Búsqueda IA
Claude-SearchBot
Acceso Claude apoyado por búsqueda
Según Anthropic, Claude-SearchBot mejora la calidad de los resultados de búsqueda. Bloquearlo detiene la indexación para la búsqueda y puede reducir la visibilidad y la precisión de las respuestas.
Tokens Anthropic legacy
Tokens antiguos o compatibles como anthropic-ai y Claude-Web pueden seguir importando en análisis de logs. KI-Console los mantiene en el grupo entrenamiento para no perder pruebas históricas.
anthropic-ai
Claude-Web
Guía robots.txt
Nombra explícitamente los agentes Claude actuales e incluye los tokens legacy si tu política permite acceso Anthropic. Las rutas privadas siguen bloqueadas como siempre.
Reglas iniciales Claude
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /
Sitemap: https://www.example.com/sitemap.xmlPor qué el acceso de Claude cuenta de otro modo
Anthropic no publica ningún ranking en el que ganarse una posición; no hay una clasificación que mejorar. Lo que cuenta es la consulta en el momento de la pregunta, y ahí solo importa que tu página sea accesible y contenga la respuesta. No hay nada que comprar ni ventaja por presupuesto. Quien es accesible y claro parte de la misma posición que una gran empresa.
Cuando los clientes le dan su página a Claude ellos mismos
Buena parte de los accesos de Claude no nacen de una búsqueda, sino de que alguien pega una dirección en una conversación: «¿qué dice esta página?», «compara estas dos ofertas». Es la visita más valiosa de todas, porque detrás hay una persona con una intención concreta. Pero fracasa si la página rechaza la consulta, y entonces el cliente no ve un error de su servidor, solo que Claude no puede decir nada al respecto. Justo por eso vale la pena seguir siendo accesible para Claude-User.
Lo que hace citable una página
Claude nombra las fuentes con enlace cuando bebe de ellas. Se cita lo que se puede extraer limpiamente: un párrafo que se sostiene solo, con una afirmación clara y un número o una fecha dentro. No es citable una frase que remite al párrafo anterior sin repetirlo. Una prueba práctica: copie un párrafo de su web en un archivo vacío. ¿Sigue teniendo sentido fuera de contexto y es exacto? Entonces es citable.
Crawl-delay: aquí sí funciona
Anthropic documenta la compatibilidad con la directiva Crawl-delay en robots.txt, con ClaudeBot como ejemplo. Es inusual: Google la ignora desde hace años. Quien sufre la carga de crawlers puede frenar al bot con un valor en segundos en lugar de bloquearlo del todo. Casi siempre es la mejor decisión: un bloqueo cuesta visibilidad de forma permanente, un retraso solo cuesta tiempo. La directiva va en el mismo grupo que las demás reglas del agente; Anthropic no indica expresamente si Claude-User y Claude-SearchBot también la respetan.
Cómo KI-Console prueba visitas
KI-Console detecta ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai y Claude-Web en logs e informes del tracker, y los agrupa para separar prueba en vivo y tráfico de entrenamiento.
Lo que el acceso Claude no promete
Permitir los crawlers de Claude mejora el acceso técnico, pero no garantiza que Claude rastree, cite, recomiende o posicione el sitio. Un archivo llms.txt tampoco lo cambia: Anthropic no ha prometido usarlo.
Respuestas directas
Lo que primero preguntan los propietarios de sitios escépticos
KI-Console no vende visibilidad mágica. Hacemos tu sitio más legible para los sistemas de IA y mostramos pruebas cuando el tracker o los logs las aportan.
¿Qué token Claude prueba una lectura en vivo?
Claude-User es el token de lectura en vivo más claro porque está ligado a una acción de usuario concreta. ClaudeBot es una señal de entrenamiento distinta.
¿Debo seguir mirando anthropic-ai y Claude-Web?
Sí para logs históricos y compatibilidad. Pueden aparecer menos que los tokens actuales, pero mapearlos evita perder pruebas Anthropic antiguas.
¿KI-Console muestra tráfico Claude separado?
Sí. KI-Console reconoce los tokens Claude y Anthropic legacy y separa tráfico en vivo, entrenamiento y búsqueda en el flujo de prueba crawler.
¿Tengo que permitir ClaudeBot para que Claude lea mi página?
No. ClaudeBot es el rastreador de entrenamiento; la lectura dentro de una conversación corresponde a Claude-User. Puede prohibir ClaudeBot y permitir Claude-User: es una postura habitual y bien fundada, los contenidos no deben ir al entrenamiento, pero una persona que está mirando la página en ese momento debe poder verla. Lo importante es que las reglas se escriban por separado y que no haya encima un bloqueo general.
¿Cómo distingo una consulta real de Claude de una falsa?
Por el agente de usuario solo, de ninguna manera: se falsifica en una línea. Anthropic publica los rangos de direcciones IP de sus agentes; una consulta desde un rango ajeno no es una consulta de Claude, diga lo que diga el identificador. KI-Console hace esa comparación en lugar de creerse la cadena. Para una comprobación propia basta con mirar de qué red vino la petición.
Comprueba tu sitio
Mira qué señales IA funcionan ahora
Empieza con el escaneo gratis. Con una cuenta verificas el dominio, guardas historial, generas archivos y documentas visitas de crawlers en el tiempo.