website@ki-console.com
FR
EN DE FR IT ES UA

Transparence crawler

KI-Console-Bot

KI-Console-Bot est le crawler utilisé pour des diagnostics AI Readiness ponctuels demandés par les utilisateurs.

Ce que le bot récupère

  • robots.txt pour comprendre les règles crawler et les opt-outs.
  • sitemap.xml lorsqu'il est indiqué dans robots.txt ou disponible à l'emplacement standard.
  • llms.txt lorsqu'il est disponible à la racine du site.
  • La page d'accueil et quelques pages publiques au maximum pour le diagnostic soumis.

Pourquoi nous le récupérons

Un visiteur ou titulaire de compte soumet un domaine et demande à KI-Console d'exécuter un diagnostic technique AI Readiness ponctuel. Le résultat est mis en cache pour les scans publics anonymes afin que le même site ne soit pas récupéré à répétition.

Identification

Les requêtes s'identifient avec ce user-agent :

KI-Console-Bot/1.0 (+https://ki-console.com/bot)

Limites

Les scans publics anonymes sont mis en cache 24 heures par site. Un scan public en direct est aussi limité par quota IP et par le cooldown gratuit existant par domaine.

Opt-out

Pour bloquer les scans publics de sites tiers par KI-Console, ajoutez ce groupe à votre robots.txt. Les scans de comptes vérifiés par les propriétaires sont considérés comme autorisés par le propriétaire du site.

Snippet robots.txt

User-agent: KI-Console-Bot
Disallow: /