Cloudflare разрешил запрещать обучение ИИ, не блокируя Googlebot
Новый механизм Disallow AI Training отделяет обучающие обходы от поисковых: Google и Apple уже учитывают отказ, поддержка Bing в robots.txt пока в ожидании.
- Cloudflare запустил механизм Disallow AI Training — отказ от обучения ИИ без блокировки поисковых роботов.
- Google и Apple уже учитывают такой отказ, поддержка Bing через robots.txt пока ожидается.
- Смешанные обходчики, которые совмещают поиск и обучение, остаются доступными для сайта.
Как сообщает Search Engine Journal, Cloudflare представил механизм Disallow AI Training. Он позволяет владельцам сайтов заявить об отказе от использования контента для обучения ИИ, не закрывая при этом доступ поисковым роботам.
Смысл подхода в том, что поисковый обход и обучающие сборы данных разделяются. Многие обходчики выполняют сразу обе задачи — собирают страницы для выдачи и пополняют обучающие наборы. Новый механизм даёт возможность оставить первые и отсечь вторые.
По данным источника, Google и Apple уже учитывают такой отказ. Поддержка Bing через robots.txt на момент публикации ещё ожидается.
Что это значит для сайтов
Для российских владельцев сайтов и SEO-специалистов это ещё один инструмент в наборе настроек доступа. Раньше выбор был жёстким: либо пускать обходчика, либо полностью закрывать его, теряя и поисковый трафик. Теперь появляется промежуточный вариант — сохранить видимость в поиске и при этом обозначить запрет на обучение ИИ.
Владельцам сайтов и SEO-специалистам стоит проверить, какие обходчики сейчас допущены в robots.txt и какие задачи они выполняют. Если обучающий сбор данных не нужен, можно настроить отказ через Disallow AI Training, не трогая поисковые обходы.
Разработчикам при интеграции механизма важно помнить, что поддержка разных поисковых систем отличается: Google и Apple отказ уже учитывают, а по Bing через robots.txt вопрос пока открыт. Поэтому настройку стоит перепроверять по фактическим логам обхода, а не считать её универсальной для всех роботов.
Оригинал публикации: www.searchenginejournal.com. Разбор и выводы — редакции «SEO-зоны».