Entraînement
ClaudeBot
Crawler d'entraînement
ClaudeBot est le principal crawler Anthropic associé à l'entraînement des modèles et aux décisions d'accès large au web public.
Crawlers Anthropic
La visibilité Claude dépend de plus d'un token. Anthropic utilise des agents séparés pour l'entraînement, les appels live utilisateur et l'accès appuyé par recherche, plus d'anciens tokens qui apparaissent encore dans les logs.
Anthropic
ClaudeBot, Claude-User et Claude-SearchBot décrivent des modèles d'accès différents. Les séparer montre si Claude peut entraîner, récupérer live ou atteindre vos pages publiques via la recherche.
Entraînement
ClaudeBot
ClaudeBot est le principal crawler Anthropic associé à l'entraînement des modèles et aux décisions d'accès large au web public.
Appels live
Claude-User
Claude-User apparaît lorsque Claude récupère une page pour une action utilisateur concrète. C'est le signal de lecture live que les propriétaires de sites veulent souvent prouver.
Recherche IA
Claude-SearchBot
Claude-SearchBot est lié aux flux de recherche et retrieval qui peuvent soutenir des réponses actuelles.
Les tokens anciens ou de compatibilité comme anthropic-ai et Claude-Web peuvent encore compter dans l'analyse des logs. KI-Console les garde dans le groupe entraînement pour ne pas perdre les anciennes preuves.
anthropic-ai
Claude-Web
Nommez explicitement les agents Claude actuels et incluez les anciens tokens si votre politique autorise l'accès Anthropic. Les chemins privés restent bloqués comme d'habitude.
Règles Claude de départ
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /
Sitemap: https://www.example.com/sitemap.xml
Claude n'a pas d'index de recherche public dans lequel on gagnerait une position. Il n'y a ni classement, ni placement, ni rang à améliorer. Ce qu'il y a, c'est la consultation au moment de la question — et là, seuls comptent l'accessibilité de votre page et le fait qu'elle contienne la réponse. Pour un éditeur de site, c'est une bonne nouvelle : rien à acheter, aucune avance par le budget. Qui est accessible et clair part du même point qu'un grand groupe.
Une grande part des accès de Claude ne vient pas d'une recherche mais de quelqu'un qui colle une adresse dans une conversation : « que dit cette page ? », « compare ces deux offres ». C'est la visite la plus précieuse qui soit, car il y a derrière une personne avec une intention concrète. Elle échoue pourtant si la page refuse la requête — et le client ne voit alors pas une erreur de votre serveur, seulement que Claude ne peut rien en dire. C'est précisément pour cela qu'il vaut la peine de rester accessible à Claude-User.
Claude cite ses sources avec un lien quand il y puise. Est cité ce qui se détache proprement : un paragraphe qui se comprend seul, avec une affirmation claire et un chiffre ou une date. N'est pas citable une phrase qui renvoie à la section précédente sans la reprendre. Un test pratique : copiez un paragraphe de votre site dans un fichier vide. Garde-t-il un sens hors contexte, et est-il exact ? Alors il est citable.
Anthropic documente explicitement que ses robots prennent en charge Crawl-delay. C'est inhabituel : Google ignore cette directive depuis des années. Si la charge des robots pose problème, vous pouvez donc ralentir Anthropic avec une valeur en secondes au lieu de bloquer d'emblée. C'est presque toujours le meilleur choix : un blocage coûte durablement de la visibilité, un délai ne coûte que du temps. Il s'écrit dans le même groupe que les autres règles de cet agent.
KI-Console détecte ClaudeBot, Claude-User, Claude-SearchBot, anthropic-ai et Claude-Web dans les logs et rapports tracker, puis les groupe pour garder séparés preuve live et trafic d'entraînement.
Autoriser les crawlers Claude améliore l'accès technique mais ne garantit pas que Claude va crawler, citer, recommander ou classer le site.
Réponses directes
KI-Console ne vend pas de visibilité magique. Nous rendons votre site plus lisible pour les systèmes d'IA et montrons des preuves quand les logs le permettent.
Claude-User est le token de lecture live le plus clair, car il est lié à une action utilisateur concrète. ClaudeBot est un signal d'entraînement différent.
Oui pour les logs historiques et la compatibilité. Ils peuvent apparaître moins souvent que les tokens actuels, mais leur mapping évite de manquer d'anciennes preuves Anthropic.
Oui. KI-Console reconnaît les tokens Claude et les anciens tokens Anthropic, puis sépare trafic live, entraînement et recherche dans le workflow de preuve crawler.
Non. ClaudeBot est le robot d'entraînement ; la lecture au fil d'une conversation relève de Claude-User. Vous pouvez interdire ClaudeBot et autoriser Claude-User — une position courante et défendable : les contenus ne doivent pas alimenter l'entraînement, mais une personne qui consulte la page à cet instant doit pouvoir la voir. L'essentiel est que les règles soient écrites séparément et qu'aucun blocage global ne les recouvre.
Pas à l'agent utilisateur seul : il se falsifie en une ligne. Anthropic publie les plages d'adresses IP de ses agents ; une requête venue d'ailleurs n'est pas une requête de Claude, quoi qu'annonce l'identifiant. KI-Console effectue cette comparaison au lieu de croire la chaîne. Pour une vérification maison, il suffit de regarder de quel réseau vient la demande.
Vérifier votre site
Commencez par le scan gratuit. Avec un compte, vous vérifiez le domaine, gardez l'historique, générez des fichiers et documentez les visites de crawlers.