Поисковые роботы Google используют не только GET и POST
Представитель Google Гэри Иллиес рассказал, что краулеры компании отправляют HTTP-запросы с методами HEAD, OPTIONS, PUT, PATCH и DELETE. На них приходится менее 1,5% от общего числа запросов, и нужны они для работы с JavaScript.
- Краулеры Google отправляют не только GET и POST, но и HEAD, OPTIONS, PUT, PATCH, DELETE.
- На нестандартные методы приходится меньше 1,5% всех запросов роботов.
- Эти запросы нужны для обработки JavaScript.
Как сообщает Google Search Central, представитель компании Гэри Иллиес подтвердил, что поисковые роботы не ограничиваются привычными HTTP-запросами GET и POST. В ответ на вопрос одного из участников отраслевой конференции он рассказал, что краулеры также отправляют запросы с методами HEAD, OPTIONS, PUT, PATCH и DELETE.
По словам Иллиеса, доля таких запросов невелика — менее 1,5% от общего числа обращений всех роботов Google. Они используются главным образом при работе с JavaScript: например, чтобы проверить доступность ресурса или получить метаданные без полной загрузки страницы.
Ранее считалось, что основными методами для краулеров остаются GET и POST, поэтому новость вызвала интерес у разработчиков и SEO-специалистов, которые настраивают серверную логику и внимательно следят за логами.
Владельцам сайтов и разработчикам стоит убедиться, что сервер корректно обрабатывает не только стандартные GET и POST, но и остальные HTTP-методы. Если доступ к части ресурсов ограничен для HEAD, OPTIONS, PUT, PATCH или DELETE, это может помешать краулеру полностью выполнить обход страниц.
Особое внимание стоит уделить JavaScript-приложениям: если сервер отвечает ошибкой на нестандартные запросы, робот может не получить нужные данные и хуже проиндексировать контент. Проверьте логи сервера, чтобы убедиться, что такие запросы не блокируются межсетевым экраном или настройками веб-сервера.
Оригинал публикации: www.seroundtable.com. Разбор и выводы — редакции «SEO-зоны».