Googlebot может приходить не из того региона, что заявлено
Google заявляет, что краулеры приходят из Маунтин-Вью, но на деле бот может физически находиться в другом дата-центре. Это выяснилось при анализе обращений Googlebot.
- Googlebot не всегда приходит с заявленного IP-адреса, хотя в данных WHOIS указан Маунтин-Вью.
- Из-за глобальной сети дата-центров реальный регион краулера может отличаться.
- Для обычного сайта это редко влияет на доступность, но важно для анализа логов.
Как сообщает Search Engine Roundtable, Google традиционно указывает, что его краулеры Googlebot приходят из Маунтин-Вью, Калифорния. Однако это лишь самозаявленные данные, и на практике бот может физически находиться в другом месте.
Google располагает дата-центрами по всему миру. Даже если в логах сервера IP-адрес бота привязан к офису в Калифорнии, сам обход может выполняться с оборудования в другой стране или регионе. Расхождение возникает из-за архитектуры сетей и маршрутизации трафика внутри инфраструктуры Google.
Что это значит для владельцев сайтов
Для большинства сайтов разница в фактическом местоположении Googlebot не критична — краулер всё равно добирается до сервера и забирает контент. Но если вы анализируете логи и пытаетесь понять, почему бот приходит из неожиданной локации, не стоит делать поспешных выводов о проблемах с блокировками по гео или о подозрительной активности.
Специалистам по SEO и веб-мастерам не нужно менять стратегию индексации из-за этого расхождения. Регион в логах — не повод считать, что Googlebot подделан или что сайт обходят с нежелательного IP.
Если сайт отдаёт разный контент в зависимости от географии, надёжнее ориентироваться не на IP в логах, а на проверку подлинности бота по обратному DNS и публичным спискам Google. Иначе можно случайно отдать краулеру не ту версию страницы.
Оригинал публикации: www.seroundtable.com. Разбор и выводы — редакции «SEO-зоны».