Сайт IRS пропал из выдачи Google из-за блокировки ботов
Сайт налоговой службы США на несколько дней почти исчез из результатов поиска Google. Причиной, вероятно, стала слишком агрессивная защита от ботов, которая заблокировала и поискового робота.
googlebot
Google: краулеры Google не разбирают JSON-файлы
Представитель Google напомнил, что Googlebot не парсит JSON: он лишь загружает файлы, а всю дальнейшую обработку берёт на себя индексатор.
В Search Console снова пропали данные об обходе за два дня
Отчёт о статистике обхода в Google Search Console не показывает данные за 15 и 16 августа. Google пока не восстановил эти сведения.
Googlebot ужесточил обработку JSON-LD: одноразовое декодирование HTML
Google изменил алгоритм извлечения JSON-LD, отказавшись от автоисправления дважды экранированного HTML. Теперь парсер строго следует стандарту JSON и выполняет только один проход HTML-декодирования.
Эксперимент: AI-краулеры не видят ссылки, подгружаемые JavaScript
Владелец сайта с 2 400 страницами вёл 41 день тест и выяснил: Googlebot видит лишь 2% страниц с JS-ссылками, а GPTBot, ClaudeBot, Bingbot, PerplexityBot, Meta и Amazon — ноль.
Googlebot может приходить не из того региона, что заявлено
Google заявляет, что краулеры приходят из Маунтин-Вью, но на деле бот может физически находиться в другом дата-центре. Это выяснилось при анализе обращений Googlebot.
Блокировка AI-ботов в Cloudflare мешает индексации Googlebot
По сообщению Search Engine Journal, ограничение доступа AI-ботам в Cloudflare может случайно блокировать Googlebot, что приводит к проблемам с индексацией сайтов.
Google советует отдавать код 304 для экономии краулингового бюджета
Google обновил документацию по краулинговому бюджету, рекомендовав отдавать роботу код 304 для неизменившихся страниц. Это поможет снизить нагрузку на сервер и эффективнее расходовать лимиты обхода.
Googlebot изнутри: как устроены обход, загрузка и обработка страниц
Google Search Central в подкасте Search Off the Record раскрыла детали работы Googlebot: как поисковый робот обходит сайты, загружает контент и обрабатывает полученные данные, а также какие форматы и ресурсы для него наиболее приоритетны.
Google перенёс файлы с IP-адресами краулеров на новый адрес
Google Search Central сообщил о переносе файлов, содержащих диапазоны IP-адресов краулеров, на новое расположение. Изменение важно для владельцев сайтов и администраторов, использующих эти списки для настройки доступа.