Данные об ИИ-выдаче Google: robots.txt не спасает от AI Overviews
Анализ Джона Шехаты показывает, что запрет в robots.txt не исключает сайт из AI Overviews, а лишь лишает его трафика. Разбираем последствия для издателей и брендов.
- Запрет в robots.txt не убирает сайт из AI Overviews, как ошибочно полагают многие издатели.
- Неверная настройка robots.txt лишает новостные сайты потенциального трафика из ИИ-выдачи.
- Данные Джона Шехаты показывают реальную цену ошибочных настроек для редакций.
Как сообщает Search Engine Journal, большинство издателей ошибочно полагают, что файл robots.txt защищает их контент от попадания в AI Overviews Google. Анализ Джона Шехаты (John Shehata) демонстрирует, что это не так, а неправильная настройка может стоить новостным ресурсам значительной части аудитории.
Суть проблемы в том, что AI Overviews формируются на основе множества сигналов, и отсутствие прямого доступа краулера к странице не всегда означает, что система не использует информацию с сайта для генерации ответа. Запрет в robots.txt, как показывает практика, не дает ожидаемого эффекта исключения, но при этом реально ограничивает возможность сайта получать переходы из ИИ-выдачи.
Владельцам сайтов и SEO-специалистам стоит пересмотреть стратегию работы с AI Overviews. Полагаться на robots.txt как на способ «спрятаться» от ИИ — тупиковый путь: система все равно может учитывать контент, но уже без кликов на ваш сайт.
Вместо запретов нужно сосредоточиться на качестве контента и его структурированности, чтобы попадать в AI Overviews с возможностью получения переходов. Для новостных изданий это означает, что борьба за место в ИИ-выдаче — вопрос не технической защиты, а контентной стратегии.
Оригинал публикации: www.searchenginejournal.com. Разбор и выводы — редакции «SEO-зоны».