Transparence crawler
KI-Console-Bot
KI-Console-Bot est le crawler utilisé pour des diagnostics AI Readiness ponctuels demandés par les utilisateurs.
Ce que le bot récupère
- robots.txt pour comprendre les règles crawler et les opt-outs.
- sitemap.xml lorsqu'il est indiqué dans robots.txt ou disponible à l'emplacement standard.
- llms.txt lorsqu'il est disponible à la racine du site.
- La page d'accueil et quelques pages publiques au maximum pour le diagnostic soumis.
Pourquoi nous le récupérons
Un visiteur ou titulaire de compte soumet un domaine et demande à KI-Console d'exécuter un diagnostic technique AI Readiness ponctuel. Le résultat est mis en cache pour les scans publics anonymes afin que le même site ne soit pas récupéré à répétition.
Identification
Les requêtes s'identifient avec ce user-agent :
KI-Console-Bot/1.0 (+https://ki-console.com/bot)
Limites
Les scans publics anonymes sont mis en cache 24 heures par site. Un scan public en direct est aussi limité par quota IP et par le cooldown gratuit existant par domaine.
Opt-out
Pour bloquer les scans publics de sites tiers par KI-Console, ajoutez ce groupe à votre robots.txt. Les scans de comptes vérifiés par les propriétaires sont considérés comme autorisés par le propriétaire du site.
Snippet robots.txt
User-agent: KI-Console-Bot
Disallow: /
Contact
Les questions sur KI-Console-Bot peuvent être envoyées à website@ki-console.com