Мюллер из Google: ИИ-краулеры читают sitemap и RSS
Джон Мюллер из Google заявил, что краулеры для обучения ИИ обычно не принимают sitemap и находят сайты через карты с типовыми именами или RSS-ленты.
- Джон Мюллер из Google рассказал, что в его логах ИИ-краулеры обращаются к sitemap и RSS.
- По его словам, краулеры для обучения ИИ обычно не предоставляют возможности отправить им карту сайта.
- Он советует использовать стандартные имена sitemap или RSS-ленты, чтобы такие боты находили сайты.
Как сообщает Search Engine Journal со ссылкой на представителя Google Джона Мюллера, краулеры, собирающие данные для обучения искусственного интеллекта, обычно не поддерживают отправку карты сайта. При этом в логах Мюллера видно, что они всё же обращаются к sitemap и RSS-лентам.
Мюллер отметил, что для таких ботов нет привычного механизма уведомления о новых материалах, как в поисковых системах. Поэтому он предлагает рассчитывать на то, что краулеры сами найдут файлы по стандартным адресам.
Речь идёт о типовых именах sitemap, которые ИИ-боты могут проверять автоматически. Дополнительным ориентиром для них служат RSS-ленты: по словам Мюллера, они тоже фигурируют в его логах.
Что советует Мюллер
- Использовать стандартные имена файла sitemap, чтобы краулеры могли найти его без отправки.
- Поддерживать RSS-ленту как ещё один способ сообщить о содержимом сайта.
- Не ждать, что у ИИ-краулеров появится отдельная форма для отправки карты сайта.
Таким образом, владельцам сайтов стоит проверить, что sitemap доступен по привычному адресу и не закрыт в robots.txt, а RSS-лента работает и обновляется.
Если сайт зависит от ИИ-трафика или присутствия в обучающих наборах, имеет смысл привести sitemap к стандартному имени и убедиться, что RSS-лента отдаётся корректно. Это не гарантирует обход, но убирает технические причины, по которым краулер может пройти мимо.
Для SEO-специалистов это ещё один повод проверить логи: возможно, ИИ-боты уже заходят на сайт, но не туда, где лежит актуальная карта. Настраивать отдельную отправку sitemap для таких краулеров пока не нужно — её просто нет.
Оригинал публикации: www.searchenginejournal.com. Разбор и выводы — редакции «SEO-зоны».