OpenAI, Google, Microsoft и Anthropic поддержали единый отказ от обучения ИИ
Крупнейшие разработчики ИИ согласились внедрить общий стандарт: издатели смогут одним сигналом в robots.txt запретить использование своих материалов для обучения моделей.
- OpenAI, Google, Microsoft и Anthropic заявили о поддержке нового стандарта отказа от scraping для обучения ИИ.
- Сигнал «policy token» предложен специалистом Anthropic по стандартам Кевином Келли в рамках IETF и размещается в robots.txt.
- Издателю достаточно задать предпочтения один раз, а не договариваться с каждой компанией отдельно.
OpenAI, Google, Microsoft и Anthropic заявили, что намерены принять новый стандарт, позволяющий издателям отказаться от выгрузки их материалов для обучения ИИ, сообщает The Verge со ссылкой на Search Engine Roundtable. Сейчас каждую компанию приходится ограничивать по отдельности, а общий сигнал должен избавить от этой рутины.
Механизм под названием «policy token» предложил Кевин Келли, технический руководитель по стандартам в Anthropic, в рамках рабочей группы Internet Engineering Task Force (IETF). Сигнал размещается в файле robots.txt — том самом, где сайты давно указывают, каким поисковым роботам можно обходить страницы для индексации, архивирования и других задач.
Расширение этого файла под задачи обучения ИИ означает, что владельцы сайтов получат единую точку настройки: предпочтения будут действовать сразу для нескольких разработчиков моделей, а не задаваться в отдельных соглашениях и письмах.
Владельцам сайтов и SEO-специалистам стоит взять robots.txt под контроль: скоро он будет регулировать не только индексацию, но и использование контента для обучения ИИ. Проверьте текущие правила и заранее решите, какие разделы вы готовы отдавать моделям, а какие закрываете.
Пока стандарт только предложен и поддержан компаниями, не стоит считать его гарантией: техническая реализация и соблюдение сигнала остаются на усмотрение разработчиков ИИ. Следите за статусом документа в IETF и не отменяйте другие способы защиты контента.
Оригинал публикации: www.theverge.com. Разбор и выводы — редакции «SEO-зоны».