Crawler-Transparenz
KI-Console-Bot
KI-Console-Bot ist der Crawler fuer einmalige, von Nutzern angeforderte AI-Readiness-Diagnosen.
Was der Bot abruft
- robots.txt, um Crawler-Regeln und Opt-outs zu verstehen.
- sitemap.xml, wenn sie in robots.txt genannt wird oder am Standardort verfuegbar ist.
- llms.txt, wenn die Datei im Stammverzeichnis der Website verfuegbar ist.
- Die Homepage und hoechstens wenige oeffentliche Seiten fuer die eingereichte Diagnose.
Warum wir abrufen
Ein Besucher oder Kontoinhaber reicht eine Domain ein und bittet KI-Console um eine einmalige technische AI-Readiness-Diagnose. Das Ergebnis wird fuer anonyme oeffentliche Scans gecacht, damit dieselbe Website nicht wiederholt abgerufen wird.
Identifikation
Anfragen weisen sich mit diesem User-Agent aus:
KI-Console-Bot/1.0 (+https://ki-console.com/bot)
Limits
Anonyme oeffentliche Scans werden pro Website 24 Stunden gecacht. Ein oeffentlicher Live-Scan ist zusaetzlich durch IP-Kontingent und den bestehenden Gratis-Scan-Cooldown pro Domain begrenzt.
Opt-out
Um oeffentliche Drittseiten-Scans durch KI-Console zu blockieren, fuegen Sie diese Gruppe in Ihre robots.txt ein. Verifizierte Kontoscans durch Inhaber gelten als durch den Website-Inhaber autorisiert.
robots.txt Snippet
User-agent: KI-Console-Bot
Disallow: /
Kontakt
Fragen zum KI-Console-Bot koennen gesendet werden an website@ki-console.com