Cloudflare берёт на себя robots.txt и задаёт политику для ИИ-краулеров
Cloudflare запустила Bot Preference Sync: политика для ИИ-ботов задаётся по категориям, а не по отдельным краулерам. Файл robots.txt формируется автоматически.
robots-txt
Google расширил справку о роботе Mediapartners-Google
Google обновил документацию по краулеру Mediapartners-Google: теперь она описывает не только AdSense, но и другие сервисы. Об этом сообщает Search Engine Journal.
Cloudflare разрешил запрещать обучение ИИ, не блокируя Googlebot
Новый механизм Disallow AI Training отделяет обучающие обходы от поисковых: Google и Apple уже учитывают отказ, поддержка Bing в robots.txt пока в ожидании.
Common Crawl: сайты используют llms.txt как robots.txt
Анализ Common Crawl показал, что большинство файлов llms.txt создано по шаблонам, многие не содержат ссылок, а некоторые включают правила, которые формат не может enforce.
Блокировка AI-краулеров: robots.txt или блок на сервере
Разбираем, почему robots.txt лишь просит ботов не заходить, а блокировка на уровне сервера, WAF или CDN действительно останавливает AI-краулеров.
Сайт IRS пропал из выдачи Google из-за блокировки ботов
Сайт налоговой службы США на несколько дней почти исчез из результатов поиска Google. Причиной, вероятно, стала слишком агрессивная защита от ботов, которая заблокировала и поискового робота.
Техническое SEO для ИИ-поиска: четыре ключевых момента
ИИ-системы не индексируют контент, отрисованный через JavaScript, и часто блокируются устаревшими robots.txt. Разбираем четыре технических аспекта, которые влияют на видимость сайта в AI-выдаче.
Все договариваются с Google, а Meta читает сайты бесплатно
Поисковые системы платят за контент, а Meta свободно использует данные для обучения ИИ, не возвращая трафик. Автор SEJ призывает задуматься о справедливости такого подхода.
OpenAI объяснила, почему robots.txt может не блокировать бота ChatGPT
Новые данные показывают, что бот ChatGPT для получения страниц обходит сайты, которым он запрещён. OpenAI пояснила, что файл robots.txt не всегда останавливает его.
Common Crawl выпустил руководство по видимости для ИИ и автоматизированный инструмент проверки
Common Crawl опубликовал инструкцию, как сайтам быть видимыми для ИИ, и автоматизированный инструмент для проверки индексации и блокировок.
Данные об ИИ-выдаче Google: robots.txt не спасает от AI Overviews
Анализ Джона Шехаты показывает, что запрет в robots.txt не исключает сайт из AI Overviews, а лишь лишает его трафика. Разбираем последствия для издателей и брендов.