Google объяснил, как убрать попапы из поиска через robots.txt
Джон Мюллер из Google рассказал, как запретить показ всплывающих окон в поиске с помощью robots.txt — способ работает, если попапы выводятся через JavaScript.
robots-txt
Google разрешил закрывать часть JavaScript-ресурсов через robots.txt
Джон Мюллер из Google подтвердил: в отдельных случаях можно скрывать JavaScript-ресурсы от Googlebot с помощью robots.txt, хотя обычно этот способ не рекомендуют.
Google, Microsoft и OpenAI договорились уважать общий запрет на обучение ИИ
Единая строка в robots.txt позволит сайтам отказаться от использования их контента для обучения ИИ сразу у нескольких провайдеров, но компании внедряют механизм по-разному.
OpenAI, Google, Microsoft и Anthropic поддержали единый отказ от обучения ИИ
Крупнейшие разработчики ИИ согласились внедрить общий стандарт: издатели смогут одним сигналом в robots.txt запретить использование своих материалов для обучения моделей.
Google поддержит единый контроль обучения ИИ в robots.txt
Google объявил о планах поддержать общий механизм в robots.txt, который позволит сайтам в одном шаге выражать предпочтения по обучению ИИ у разных провайдеров.
Google уточнил правила обхода редиректов при поиске фавиконки
В документации Google Search появилось требование: Googlebot должен проходить по редиректам с главной страницы к файлу фавиконки, а сами адреса нельзя закрывать в robots.txt.
Meta убрала из условий право на сбор данных с сайтов СМИ
Meta скорректировала условия для бизнес-аккаунтов, убрав формулировку о свободном обучении ИИ на сайтах СМИ, но юристы считают правку недостаточной.
Google: robots.txt управляет обходом, а не обучением ИИ
В новом видео Google Гэри Иллис объяснил, что robots.txt регулирует обход сайта, а не использование контента. Для неанглоязычных путей он советует процентное кодирование.
Google советует отдавать 503 на время обновления PHP
Google напоминает: если сайт закрыт на обновление PHP, отдавайте код 503 в обход самого PHP и оставляйте robots.txt доступным. Иначе длительные ошибки сервера могут привести к выпадению URL из выдачи.
Google объяснил, что можно указывать в robots.txt для ИИ-краулеров
Гэри Иллис и Чери Проммавин выпустили второе видео серии Non-Canonical Cabinet — о том, какие директивы robots.txt поддерживает Google, а какие — нет.
Персональные ИИ-агенты Meta Muse и OpenAI dots меняют правила SEO
Агенты Meta Muse и OpenAI dots заходят на сайты через коннекторы или облачные браузеры, и это подрывает привычные сигналы robots.txt, он-страничной оптимизации и аналитики.
Meta убрала обучение ИИ из пункта о сканировании сайтов
Meta исключила обучение моделей из условия о сканировании в новых коммерческих правилах, но право обходить сайты деловых пользователей сохранила.