Все материалы

RSS →

Googlebot изнутри: как устроены обход, загрузка и обработка страниц

Google Search Central в подкасте Search Off the Record раскрыла детали работы Googlebot: как поисковый робот обходит сайты, загружает контент и обрабатывает полученные данные, а также какие форматы и ресурсы для него наиболее приоритетны.

· 1 мин

Google перенёс файлы с IP-адресами краулеров на новый адрес

Google Search Central сообщил о переносе файлов, содержащих диапазоны IP-адресов краулеров, на новое расположение. Изменение важно для владельцев сайтов и администраторов, использующих эти списки для настройки доступа.

· 1 мин