Коротка вiдповiдь
bedrockbot — це загальний токен robots.txt для вебсканера Amazon Bedrock, що обслуговує бази знань.
Гiд по ШI-краулерах
bedrockbot: правильно налаштувати robots.txt
bedrockbot — це загальний токен robots.txt для вебсканера Amazon Bedrock, що обслуговує бази знань.
Факти про краулер
Факти про bedrockbot
Токен user-agent
bedrockbot
Оператор
Amazon Web Services
Група KI-Console
Навчання
Автономний краулер: дозвольте доступ, тримайте публiчний контент читабельним i стежте за логами.
robots.txt
Так, задокументовано
Документацiя
Вiдкрити джерельну документацiюЩо таке bedrockbot?
Amazon Bedrock може обходити сайти, які клієнт налаштував як джерело даних для бази знань. AWS описує правила bedrockbot і bedrockbot-UUID.
Призначення i SEO-сенс
У KI-Console цей бот належить до групи «навчання». Точніше, ідеться про наповнення й опитування бази знань для застосунків Bedrock, налаштованих клієнтом.
Видимiсть i приватнiсть
Блокування bedrockbot може зменшити те, як системи Amazon Web Services бачать, iндексують, використовують для навчання або отримують ваш публiчний контент. Дозвiл покращує технiчний доступ, але нiколи не гарантує сканування, рейтинг, цитату чи позитивну ШI-вiдповiдь.
AWS документує, що вебсканер шанує robots.txt згідно з RFC 9309 і розглядає правила bedrockbot-UUID раніше за загальні правила bedrockbot.
robots.txt для bedrockbot
Використовуйте точний токен bedrockbot у robots.txt. Приватнi шляхи блокуйте окремо, якщо доступною має бути лише частина сайту.
Дозволити :bot
User-agent: bedrockbot
Allow: /Заблокувати :bot
User-agent: bedrockbot
Disallow: /Чіткі відповіді
Що скептично налаштовані власники вебсайтів запитують найперше
KI-Console не продає магічну видимість. Ми робимо ваш вебсайт читабельнішим для ШІ-систем і показуємо докази там, де це дозволяють логи.
Що таке bedrockbot?
bedrockbot це краулер або керуючий robots.txt-токен оператора Amazon Web Services. Факти вище показують призначення, поведiнку robots.txt i точнi правила дозволу або блокування.
Як заблокувати bedrockbot у robots.txt?
Використайте User-agent: bedrockbot i Disallow: /. robots.txt це директива для сумлiнних краулерiв, а не технiчна перепона доступу.
Чи зменшує блокування bedrockbot видимiсть у ШI?
Це може зменшити видимiсть у системах Amazon Web Services, якщо вони бiльше не можуть сканувати, iндексувати, навчатися на вашому контентi або отримувати його. Ефект залежить вiд типу бота i продукту.
Перевірте свій вебсайт
Дізнайтеся, які сигнали ШІ працюють прямо зараз
Спершу запустіть безкоштовне сканування. З обліковим записом ви можете верифікувати домен, зберігати історію, генерувати файли та документувати візити краулерів із часом.