Entraînement
ClaudeBot
Crawler d'entraînement
ClaudeBot est le principal crawler Anthropic associé à l'entraînement des modèles et aux décisions d'accès large au web public.
Crawlers Anthropic
Claude lit-il votre site ?
Claude lit les pages publiques via trois agents Anthropic : ClaudeBot collecte des données d’entraînement, Claude-User récupère une page quand quelqu’un interroge Claude à son sujet, Claude-SearchBot améliore la recherche. Anthropic indique que les trois respectent robots.txt. Si vous bloquez Claude-User, Claude ne peut plus récupérer votre page pour les questions des utilisateurs.
Anthropic
Séparer proprement les agents Claude
ClaudeBot, Claude-User et Claude-SearchBot décrivent des modèles d'accès différents. Les séparer montre si Claude peut entraîner, récupérer live ou atteindre vos pages publiques via la recherche.
Appels live
Claude-User
Appel live par Claude
Claude-User apparaît quand Claude récupère une page pour une question concrète d’un utilisateur. C’est la preuve de lecture en direct que les exploitants de sites veulent le plus souvent voir. Selon Anthropic, il respecte robots.txt : un blocage empêche l’appel et peut réduire la visibilité dans la recherche web pilotée par l’utilisateur.
Recherche IA
Claude-SearchBot
Accès Claude appuyé par recherche
Selon Anthropic, Claude-SearchBot améliore la qualité des résultats de recherche. Le bloquer arrête l’indexation pour la recherche et peut réduire la visibilité et la précision des réponses.
Anciens tokens Anthropic
Les tokens anciens ou de compatibilité comme anthropic-ai et Claude-Web peuvent encore compter dans l'analyse des logs. KI-Console les garde dans le groupe entraînement pour ne pas perdre les anciennes preuves.
anthropic-ai
Claude-Web
Conseil robots.txt
Nommez explicitement les agents Claude actuels et incluez les anciens tokens si votre politique autorise l'accès Anthropic. Les chemins privés restent bloqués comme d'habitude.
Règles Claude de départ
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /
Sitemap: https://www.example.com/sitemap.xmlPourquoi l'accès de Claude compte autrement
Anthropic ne publie aucun classement où l’on pourrait gagner une position ; il n’y a pas de ranking à améliorer. Ce qui compte, c’est l’appel au moment de la question, et il importe seulement que votre page soit accessible et contienne la réponse. Rien ne s’achète, et le budget ne donne aucune avance. Qui est accessible et clair part de la même position qu’un grand groupe.
Quand les clients donnent eux-mêmes votre page à Claude
Une grande part des accès de Claude ne vient pas d'une recherche mais de quelqu'un qui colle une adresse dans une conversation : « que dit cette page ? », « compare ces deux offres ». C'est la visite la plus précieuse qui soit, car il y a derrière une personne avec une intention concrète. Elle échoue pourtant si la page refuse la requête — et le client ne voit alors pas une erreur de votre serveur, seulement que Claude ne peut rien en dire. C'est précisément pour cela qu'il vaut la peine de rester accessible à Claude-User.
Ce qui rend une page citable
Claude cite ses sources avec un lien quand il y puise. Est cité ce qui se détache proprement : un paragraphe qui se comprend seul, avec une affirmation claire et un chiffre ou une date. N'est pas citable une phrase qui renvoie à la section précédente sans la reprendre. Un test pratique : copiez un paragraphe de votre site dans un fichier vide. Garde-t-il un sens hors contexte, et est-il exact ? Alors il est citable.
Crawl-delay : ici, il agit vraiment
Anthropic documente la prise en charge de la directive Crawl-delay dans robots.txt, avec ClaudeBot en exemple. C’est inhabituel : Google l’ignore depuis des années. Qui subit la charge des crawlers peut ralentir le robot avec une valeur en secondes plutôt que de le bloquer. C’est presque toujours la meilleure décision : un blocage coûte durablement de la visibilité, un délai seulement du temps. La directive se place dans le même groupe que les autres règles de l’agent ; Anthropic ne précise pas si Claude-User et Claude-SearchBot la respectent aussi.
Comment KI-Console prouve les visites
KI-Console détecte ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai et Claude-Web dans les logs et rapports tracker, puis les groupe pour garder séparés preuve live et trafic d'entraînement.
Ce que l'accès Claude ne promet pas
Autoriser les crawlers Claude améliore l’accès technique, mais ne garantit pas que Claude explore, cite, recommande ou classe le site. Un fichier llms.txt n’y change rien : Anthropic n’a pas promis de l’exploiter.
Réponses directes
Ce que les propriétaires de sites sceptiques demandent d'abord
KI-Console ne vend pas de visibilité magique. Nous rendons votre site plus lisible pour les systèmes d’IA et montrons des preuves quand le tracker ou les logs les fournissent.
Quel token Claude prouve une lecture live ?
Claude-User est le token de lecture live le plus clair, car il est lié à une action utilisateur concrète. ClaudeBot est un signal d'entraînement différent.
Faut-il encore suivre anthropic-ai et Claude-Web ?
Oui pour les logs historiques et la compatibilité. Ils peuvent apparaître moins souvent que les tokens actuels, mais leur mapping évite de manquer d'anciennes preuves Anthropic.
KI-Console montre-t-il le trafic Claude séparément ?
Oui. KI-Console reconnaît les tokens Claude et les anciens tokens Anthropic, puis sépare trafic live, entraînement et recherche dans le workflow de preuve crawler.
Dois-je autoriser ClaudeBot pour que Claude puisse lire ma page ?
Non. ClaudeBot est le robot d'entraînement ; la lecture au fil d'une conversation relève de Claude-User. Vous pouvez interdire ClaudeBot et autoriser Claude-User — une position courante et défendable : les contenus ne doivent pas alimenter l'entraînement, mais une personne qui consulte la page à cet instant doit pouvoir la voir. L'essentiel est que les règles soient écrites séparément et qu'aucun blocage global ne les recouvre.
Comment distinguer une vraie requête de Claude d'une contrefaçon ?
Pas à l'agent utilisateur seul : il se falsifie en une ligne. Anthropic publie les plages d'adresses IP de ses agents ; une requête venue d'ailleurs n'est pas une requête de Claude, quoi qu'annonce l'identifiant. KI-Console effectue cette comparaison au lieu de croire la chaîne. Pour une vérification maison, il suffit de regarder de quel réseau vient la demande.
Vérifier votre site
Voyez quels signaux IA fonctionnent maintenant
Commencez par le scan gratuit. Avec un compte, vous vérifiez le domaine, gardez l'historique, générez des fichiers et documentez les visites de crawlers.