Google разрешил закрывать часть JavaScript-ресурсов через robots.txt
Джон Мюллер из Google подтвердил: в отдельных случаях можно скрывать JavaScript-ресурсы от Googlebot с помощью robots.txt, хотя обычно этот способ не рекомендуют.
Джон Мюллер из Google подтвердил: в отдельных случаях можно скрывать JavaScript-ресурсы от Googlebot с помощью robots.txt, хотя обычно этот способ не рекомендуют.
Разбор типичных просчетов при аудите: от краулинга без JS до приоритизации по «серьезности» инструмента. Что делать вместо этого, чтобы разработчики реально внедряли рекомендации.
Владелец сайта с 2 400 страницами вёл 41 день тест и выяснил: Googlebot видит лишь 2% страниц с JS-ссылками, а GPTBot, ClaudeBot, Bingbot, PerplexityBot, Meta и Amazon — ноль.
Представитель Google Гэри Иллиес рассказал, что краулеры компании отправляют HTTP-запросы с методами HEAD, OPTIONS, PUT, PATCH и DELETE. На них приходится менее 1,5% от общего числа запросов, и нужны они для работы с JavaScript.