Мюллер из Google: ИИ-краулеры читают sitemap и RSS
Джон Мюллер из Google заявил, что краулеры для обучения ИИ обычно не принимают sitemap и находят сайты через карты с типовыми именами или RSS-ленты.
ii-kraulery
Amazon заблокировала ИИ-краулер Meta, и robots.txt не помешал
Amazon закрыла доступ ИИ-агенту Meta Muse, хотя формально он не нарушал robots.txt. Разбираем, как сайты защищаются от ИИ-краулеров без стандартных правил.
Cloudflare берёт на себя robots.txt и задаёт политику для ИИ-краулеров
Cloudflare запустила Bot Preference Sync: политика для ИИ-ботов задаётся по категориям, а не по отдельным краулерам. Файл robots.txt формируется автоматически.
Издатели блокируют ИИ-краулеров, опираясь на неполную статистику
Издатели закрывают доступ ИИ-краулерам к сайтам, ориентируясь на метрику, знаменатель которой не учитывает неизвестную долю переходов.
Мюллер из Google проверил, как ИИ-краулеры запрашивают markdown
Джон Мюллер из Google проверил на своих сайтах, запрашивают ли ИИ-краулеры контент в формате markdown, и поделился результатами эксперимента.
Техническое SEO для ИИ-поиска: четыре ключевых момента
ИИ-системы не индексируют контент, отрисованный через JavaScript, и часто блокируются устаревшими robots.txt. Разбираем четыре технических аспекта, которые влияют на видимость сайта в AI-выдаче.