Meta убрала обучение ИИ из пункта о сканировании сайтов
Meta исключила обучение моделей из условия о сканировании в новых коммерческих правилах, но право обходить сайты деловых пользователей сохранила.
krauling
Google дополнил справку о снижении скорости обхода: заголовок Retry-After
Google обновил документ о снижении скорости обхода сайта. В разделе об экстренных мерах появилась инструкция по заголовку Retry-After.
10 ошибок технического SEO-аудита, ведущих к бесполезным рекомендациям
Разбор типичных просчетов при аудите: от краулинга без JS до приоритизации по «серьезности» инструмента. Что делать вместо этого, чтобы разработчики реально внедряли рекомендации.
Googlebot изнутри: как устроены обход, загрузка и обработка страниц
Google Search Central в подкасте Search Off the Record раскрыла детали работы Googlebot: как поисковый робот обходит сайты, загружает контент и обрабатывает полученные данные, а также какие форматы и ресурсы для него наиболее приоритетны.