Блокировка AI-ботов в Cloudflare мешает индексации Googlebot
По сообщению Search Engine Journal, ограничение доступа AI-ботам в Cloudflare может случайно блокировать Googlebot, что приводит к проблемам с индексацией сайтов.
- Настройки Cloudflare для блокировки AI-ботов могут задевать Googlebot.
- Это приводит к тому, что страницы сайта не попадают в индекс Google.
- Проблема обнаружена на основе единичных сообщений, массового подтверждения пока нет.
Как сообщает Search Engine Journal, появились отдельные сообщения о том, что блокировка AI-ботов через Cloudflare может непреднамеренно препятствовать индексации сайтов Googlebot. Пользователи заметили, что после включения фильтров для AI-краулеров страницы перестают появляться в результатах поиска Google.
Суть проблемы
Cloudflare предлагает функцию блокировки ботов, предназначенных для сбора данных для обучения искусственного интеллекта. Однако, по предварительным данным, эта же настройка может ошибочно применяться и к Googlebot. В результате поисковый робот не может обойти страницы, и они выпадают из индексации.
Пока это единичные случаи, и нет официальных подтверждений от Cloudflare или Google. Тем не менее, если проблема подтвердится, она может затронуть владельцев сайтов, которые активно используют защиту от AI-ботов.
Владельцам сайтов и SEO-специалистам стоит проверить, не блокирует ли Cloudflare Googlebot при включенной защите от AI-ботов. Если индексация упала, временно отключите блокировку или добавьте исключения для Googlebot.
Важно следить за обновлениями от Cloudflare и Google, чтобы вовремя скорректировать настройки. Пока нет официальных рекомендаций, поэтому действуйте осторожно и проверяйте индексацию регулярно.
Оригинал публикации: www.searchenginejournal.com. Разбор и выводы — редакции «SEO-зоны».