Коротка вiдповiдь
AI2Bot — це сканер Allen Institute for AI для публічного вебвмісту, який може піти на відкриті мовні моделі.
Гiд по ШI-краулерах
AI2Bot: правильно налаштувати robots.txt
AI2Bot — це сканер Allen Institute for AI для публічного вебвмісту, який може піти на відкриті мовні моделі.
Факти про краулер
Факти про AI2Bot
Токен user-agent
AI2Bot
Оператор
Allen Institute for AI
Група KI-Console
Навчання
Автономний краулер: дозвольте доступ, тримайте публiчний контент читабельним i стежте за логами.
robots.txt
Не чiтко задокументовано
Документацiя
Вiдкрити джерельну документацiюЩо таке AI2Bot?
AI2 описує AI2Bot як сканер, що обходить певні домени в пошуках вебвмісту. Офіційна сторінка називає user-agent, але документує поведінку щодо robots.txt менш чітко, ніж деякі інші оператори.
Призначення i SEO-сенс
У KI-Console цей бот належить до групи «навчання». Візит може означати, що вміст розглядають для відкритих моделей або дослідницьких наборів даних.
Видимiсть i приватнiсть
Блокування AI2Bot може зменшити те, як системи Allen Institute for AI бачать, iндексують, використовують для навчання або отримують ваш публiчний контент. Дозвiл покращує технiчний доступ, але нiколи не гарантує сканування, рейтинг, цитату чи позитивну ШI-вiдповiдь.
AI2 називає user-agent як спосіб відфільтрувати чи відхилити трафік. Чи шанує AI2Bot robots.txt повністю, там не сказано.
robots.txt для AI2Bot
Використовуйте точний токен AI2Bot у robots.txt. Приватнi шляхи блокуйте окремо, якщо доступною має бути лише частина сайту.
Дозволити :bot
User-agent: AI2Bot
Allow: /Заблокувати :bot
User-agent: AI2Bot
Disallow: /Чіткі відповіді
Що скептично налаштовані власники вебсайтів запитують найперше
KI-Console не продає магічну видимість. Ми робимо ваш вебсайт читабельнішим для ШІ-систем і показуємо докази там, де це дозволяють логи.
Що таке AI2Bot?
AI2Bot це краулер або керуючий robots.txt-токен оператора Allen Institute for AI. Факти вище показують призначення, поведiнку robots.txt i точнi правила дозволу або блокування.
Як заблокувати AI2Bot у robots.txt?
Використайте User-agent: AI2Bot i Disallow: /. robots.txt це директива для сумлiнних краулерiв, а не технiчна перепона доступу.
Чи зменшує блокування AI2Bot видимiсть у ШI?
Це може зменшити видимiсть у системах Allen Institute for AI, якщо вони бiльше не можуть сканувати, iндексувати, навчатися на вашому контентi або отримувати його. Ефект залежить вiд типу бота i продукту.
Перевірте свій вебсайт
Дізнайтеся, які сигнали ШІ працюють прямо зараз
Спершу запустіть безкоштовне сканування. З обліковим записом ви можете верифікувати домен, зберігати історію, генерувати файли та документувати візити краулерів із часом.