Представитель Google Гэри Иллиес рассказал, что краулеры компании отправляют HTTP-запросы с методами HEAD, OPTIONS, PUT, PATCH и DELETE. На них приходится менее 1,5% от общего числа запросов, и нужны они для работы с JavaScript.
5 августа 2026 года в поисковых форумах обсуждали свежие изменения в алгоритмах Google и новые возможности для веб-мастеров. Собрали главное за день.
По сообщению Search Engine Journal, ограничение доступа AI-ботам в Cloudflare может случайно блокировать Googlebot, что приводит к проблемам с индексацией сайтов.
Google обновил документацию по краулинговому бюджету, рекомендовав отдавать роботу код 304 для неизменившихся страниц. Это поможет снизить нагрузку на сервер и эффективнее расходовать лимиты обхода.
Google Search Central в подкасте Search Off the Record раскрыла детали работы Googlebot: как поисковый робот обходит сайты, загружает контент и обрабатывает полученные данные, а также какие форматы и ресурсы для него наиболее приоритетны.
