Cloudflare берёт на себя robots.txt и задаёт политику для ИИ-краулеров
Cloudflare запустила Bot Preference Sync: политика для ИИ-ботов задаётся по категориям, а не по отдельным краулерам. Файл robots.txt формируется автоматически.
- Cloudflare представила механизм Bot Preference Sync для настройки правил обхода сайта ИИ-краулерами.
- Политику задают по категориям ботов, а не по каждому краулеру отдельно.
- Файл robots.txt при этом формируется автоматически на стороне сервиса.
Как сообщает Search Engine Journal, Cloudflare предложила владельцам сайтов новый способ управлять доступом ИИ-краулеров — Bot Preference Sync. Механика отличается от привычной ручной правки robots.txt: правила выставляются по категориям ботов, а не по конкретным именам краулеров.
На практике это выглядит так: в интерфейсе выбирается категория, к которой относится тот или иной ИИ-бот, и для неё задаётся разрешение или запрет. Итоговый robots.txt сервис генерирует сам, исходя из выставленных настроек.
Издание приводит наглядный пример ограничения такого подхода. Если владелец сайта хочет разрешить обход от GPTBot и при этом запретить Bytespider, ни одна из настроек по категориям не описывает такую комбинацию: оба краулера попадают в общую группу, и точечно развести их не получится.
Таким образом, подход Cloudflare упрощает типовые сценарии, но сужает возможности тонкой настройки. Для нестандартных политик доступа прежний ручной способ остаётся актуальным.
Владельцам сайтов стоит проверить, какие категории ИИ-ботов затрагивает автоматически сформированный robots.txt, прежде чем доверять его генерацию сервису. Если ваша политика доступа нестандартная — например, нужно точечно разрешить один краулер и запретить другой, — настройки по категориям её не покроют, и такие правила придётся задавать вручную.
SEO-специалистам имеет смысл зафиксировать текущий robots.txt до подключения подобных механизмов и сравнить его с тем, что получится после. Разработчикам — учесть, что управление обходом постепенно смещается из файла на стороне сайта в настройки инфраструктурного провайдера, и это стоит отразить в документации проекта.
Оригинал публикации: www.searchenginejournal.com. Разбор и выводы — редакции «SEO-зоны».