Search Engine Journal выпустил гайд по robots.txt для ИИ-краулеров
Издание собрало практики настройки robots.txt: как не сломать обход и индексацию и отдельно управлять доступами поисковых роботов и ИИ-краулеров.
Издание собрало практики настройки robots.txt: как не сломать обход и индексацию и отдельно управлять доступами поисковых роботов и ИИ-краулеров.
Гэри Иллис и Чери Проммавин выпустили второе видео серии Non-Canonical Cabinet — о том, какие директивы robots.txt поддерживает Google, а какие — нет.
Джон Мюллер из Google заявил, что краулеры для обучения ИИ обычно не принимают sitemap и находят сайты через карты с типовыми именами или RSS-ленты.
Amazon закрыла доступ ИИ-агенту Meta Muse, хотя формально он не нарушал robots.txt. Разбираем, как сайты защищаются от ИИ-краулеров без стандартных правил.
Cloudflare запустила Bot Preference Sync: политика для ИИ-ботов задаётся по категориям, а не по отдельным краулерам. Файл robots.txt формируется автоматически.
Издатели закрывают доступ ИИ-краулерам к сайтам, ориентируясь на метрику, знаменатель которой не учитывает неизвестную долю переходов.
Джон Мюллер из Google проверил на своих сайтах, запрашивают ли ИИ-краулеры контент в формате markdown, и поделился результатами эксперимента.
ИИ-системы не индексируют контент, отрисованный через JavaScript, и часто блокируются устаревшими robots.txt. Разбираем четыре технических аспекта, которые влияют на видимость сайта в AI-выдаче.