Google, Microsoft и OpenAI договорились уважать общий запрет на обучение ИИ
Единая строка в robots.txt позволит сайтам отказаться от использования их контента для обучения ИИ сразу у нескольких провайдеров, но компании внедряют механизм по-разному.
- Google, Microsoft и OpenAI планируют учитывать общий сигнал отказа от обучения ИИ в robots.txt.
- Одна строка позволит закрыть контент сразу от нескольких провайдеров, а не по отдельности.
- Компании реализуют механизм по-разному, единого стандарта пока нет.
Как сообщает Search Engine Journal, Google, Microsoft и OpenAI намерены соблюдать общий сигнал в robots.txt, которым владелец сайта может запретить использование своего контента для обучения моделей ИИ. Сейчас отказ приходится прописывать отдельно для каждого провайдера, а единая строка позволила бы закрыть контент сразу от нескольких компаний.
При этом участники инициативы подходят к её реализации по-разному: общего технического стандарта и одинакового поведения у всех трёх компаний нет. Source описывает ситуацию как план, а не как уже работающий механизм.
Для владельцев сайтов это означает, что привычный robots.txt постепенно становится инструментом управления не только обходом поисковых роботов, но и обучением ИИ-моделей. Пока правило не стало повсеместным, полагаться только на одну строку рискованно.
Владельцам сайтов стоит заранее привести директивы robots.txt в порядок и проверить, какие сигналы отказа уже прописаны: единый запрет упростит задачу, но только после того, как провайдеры начнут его одинаково понимать.
Пока стандарт не устоялся, не убирайте точечные запреты для отдельных компаний и фиксируйте, какие версии правил действуют на сайте. SEO-специалистам и разработчикам имеет смысл следить за формулировками в документации провайдеров: расхождения в трактовке строки будут влиять на то, попадёт ли контент в обучающие выборки.
Оригинал публикации: www.searchenginejournal.com. Разбор и выводы — редакции «SEO-зоны».