Коротка вiдповiдь
DuckDuckBot — це вебсканер DuckDuckGo для поліпшення результатів пошуку.
Гiд по ШI-краулерах
DuckDuckBot: правильно налаштувати robots.txt
DuckDuckBot — це вебсканер DuckDuckGo для поліпшення результатів пошуку.
Факти про краулер
Факти про DuckDuckBot
Токен user-agent
DuckDuckBot
Оператор
DuckDuckGo
Група KI-Console
ШІ-пошук
Пошуковий або iндексний краулер: sitemap, crawlability i класичне SEO залишаються важливими.
robots.txt
Так, задокументовано
Документацiя
Вiдкрити джерельну документацiюЩо таке DuckDuckBot?
DuckDuckBot обходить сайти для DuckDuckGo Search. Він відмінний від DuckAssistBot, призначеного для відповідей із допомогою ШІ.
Призначення i SEO-сенс
У KI-Console цей бот належить до групи «пошук». Візит може мати значення для органічної помітності в DuckDuckGo і, опосередковано, для поверхонь відповідей.
Видимiсть i приватнiсть
Блокування DuckDuckBot може зменшити те, як системи DuckDuckGo бачать, iндексують, використовують для навчання або отримують ваш публiчний контент. Дозвiл покращує технiчний доступ, але нiколи не гарантує сканування, рейтинг, цитату чи позитивну ШI-вiдповiдь.
DuckDuckGo документує DuckDuckBot, його user-agent і дотримання robots.txt через WWW::RobotRules.
robots.txt для DuckDuckBot
Використовуйте точний токен DuckDuckBot у robots.txt. Приватнi шляхи блокуйте окремо, якщо доступною має бути лише частина сайту.
Дозволити :bot
User-agent: DuckDuckBot
Allow: /Заблокувати :bot
User-agent: DuckDuckBot
Disallow: /Чіткі відповіді
Що скептично налаштовані власники вебсайтів запитують найперше
KI-Console не продає магічну видимість. Ми робимо ваш вебсайт читабельнішим для ШІ-систем і показуємо докази там, де це дозволяють логи.
Що таке DuckDuckBot?
DuckDuckBot це краулер або керуючий robots.txt-токен оператора DuckDuckGo. Факти вище показують призначення, поведiнку robots.txt i точнi правила дозволу або блокування.
Як заблокувати DuckDuckBot у robots.txt?
Використайте User-agent: DuckDuckBot i Disallow: /. robots.txt це директива для сумлiнних краулерiв, а не технiчна перепона доступу.
Чи зменшує блокування DuckDuckBot видимiсть у ШI?
Це може зменшити видимiсть у системах DuckDuckGo, якщо вони бiльше не можуть сканувати, iндексувати, навчатися на вашому контентi або отримувати його. Ефект залежить вiд типу бота i продукту.
Перевірте свій вебсайт
Дізнайтеся, які сигнали ШІ працюють прямо зараз
Спершу запустіть безкоштовне сканування. З обліковим записом ви можете верифікувати домен, зберігати історію, генерувати файли та документувати візити краулерів із часом.