Transparencia crawler
KI-Console-Bot
KI-Console-Bot es el crawler usado para diagnósticos AI Readiness puntuales solicitados por usuarios.
Qué obtiene el bot
- robots.txt para entender reglas de crawlers y opt-outs.
- sitemap.xml cuando aparece en robots.txt o está disponible en la ubicación estándar.
- llms.txt cuando está disponible en la raíz del sitio.
- La homepage y como máximo unas pocas páginas públicas para el diagnóstico enviado.
Por qué lo obtenemos
Un visitante o titular de cuenta envía un dominio y pide a KI-Console ejecutar un diagnóstico técnico AI Readiness puntual. El resultado se guarda en caché para escaneos públicos anónimos, de modo que el mismo sitio no se solicita repetidamente.
Identificación
Las solicitudes se identifican con este user-agent:
KI-Console-Bot/1.0 (+https://ki-console.com/bot)
Límites
Los escaneos públicos anónimos se guardan en caché durante 24 horas por sitio. Un escaneo público en vivo también está limitado por cuota IP y por el cooldown gratuito existente por dominio.
Opt-out
Para bloquear escaneos públicos de sitios terceros por KI-Console, añade este grupo a tu robots.txt. Los escaneos de cuentas verificadas por propietarios se consideran autorizados por el propietario del sitio.
Snippet robots.txt
User-agent: KI-Console-Bot
Disallow: /
Contacto
Las preguntas sobre KI-Console-Bot pueden enviarse a website@ki-console.com