Google объяснил, почему переезд на CDN усиливает нагрузку на сервер
Инженеры Google разобрали, почему после подключения CDN обход Googlebot может участиться, а исходный сервер — не выдержать наплыва запросов.
- Гэри Иллис и Чери Проммавин выпустили финальный ролик серии Non-Canonical Cabinet — о CDN.
- Переезд на сеть доставки контента может резко повысить активность обхода Googlebot.
- Рост запросов способен перегрузить исходный сервер сайта.
Гэри Иллис и Чери Проммавин из Google Search Central опубликовали заключительный выпуск серии Non-Canonical Cabinet, посвящённый сетям доставки контента (CDN). Как сообщает Google Search Central, инженеры разобрали, почему после переноса сайта на CDN активность Googlebot внезапно возрастает, чем это грозит исходному серверу и как не заблокировать поисковых роботов по неосторожности.
Сам по себе переход на CDN не должен менять правила обхода, но на практике всё иначе. Когда сайт начинает отдавать страницы через распределённую сеть, поисковый робот может чаще обращаться к источнику — и если тот не рассчитан на такой поток, нагрузка растёт.
Отдельная часть выпуска — защита от роботов. Настройки CDN и правила фильтрации трафика иногда срабатывают против Googlebot, и тогда часть страниц выпадает из обхода. Инженеры объяснили, как выстроить конфигурацию, чтобы этого не произошло.
Перед подключением CDN проверьте, выдержит ли исходный сервер возросший поток запросов от Googlebot, а после миграции следите за нагрузкой и логами обхода. Заранее убедитесь, что правила фильтрации на стороне CDN не блокируют поисковых роботов.
Если сайт небольшой, отдельная подготовка может не понадобиться — но проверить настройки перед переездом всё равно стоит: исправлять последствия блокировки обхода дольше, чем потратить час на конфигурацию.
Оригинал публикации: www.seroundtable.com. Разбор и выводы — редакции «SEO-зоны».