Trasparenza crawler
KI-Console-Bot
KI-Console-Bot è il crawler usato per diagnosi AI Readiness una tantum richieste dagli utenti.
Cosa recupera il bot
- robots.txt per capire regole crawler e opt-out.
- sitemap.xml quando è indicato in robots.txt o disponibile nella posizione standard.
- llms.txt quando è disponibile nella root del sito.
- La homepage e al massimo poche pagine pubbliche per la diagnosi inviata.
Perché lo recuperiamo
Un visitatore o titolare di account invia un dominio e chiede a KI-Console di eseguire una diagnosi tecnica AI Readiness una tantum. Il risultato viene memorizzato in cache per gli scan pubblici anonimi, così lo stesso sito non viene recuperato ripetutamente.
Identificazione
Le richieste si identificano con questo user-agent:
KI-Console-Bot/1.0 (+https://ki-console.com/bot)
Limiti
Gli scan pubblici anonimi sono memorizzati in cache per 24 ore per sito. Uno scan pubblico live è inoltre limitato dal quota IP e dal cooldown gratuito esistente per dominio.
Opt-out
Per bloccare scan pubblici di siti terzi da parte di KI-Console, aggiungi questo gruppo al tuo robots.txt. Gli scan di account verificati dai proprietari sono considerati autorizzati dal proprietario del sito.
Snippet robots.txt
User-agent: KI-Console-Bot
Disallow: /
Contatto
Le domande su KI-Console-Bot possono essere inviate a website@ki-console.com