Google дополнил справку о снижении скорости обхода: заголовок Retry-After

Как сообщает Google Search Central, в документации, посвящённой снижению скорости обхода сайта роботом, появились обновления. Значительная часть изменений — организационная: материал перекомпоновали, чтобы читателю было проще ориентироваться. Содержательное дополнение одно — в разделе «Urgently reduce crawler traffic (for emergencies)» теперь описано, как использовать HTTP-заголовок Retry-After.

Заголовок Retry-After позволяет серверу сообщить роботу, через какое время стоит повторить запрос. Это ещё один инструмент в наборе приёмов, которыми владелец сайта может пользоваться, когда нагрузка от обхода становится критичной и нужно быстро ограничить поток запросов.

Для российских специалистов важна сама логика: базовые способы снижения скорости обхода в справке уже были, а теперь к ним добавили серверный механизм. Он актуален для проектов, которые отдают ответы через собственный сервер и могут управлять заголовками на его стороне.

При этом обходы — тема, где стоит действовать аккуратно: резкое ограничение доступа робота может повлиять на индексацию и свежесть сниппетов. Поэтому экстренные меры имеет смысл держать как сценарий на случай пиковой нагрузки, а не как постоянную настройку.