Эксперимент: AI-краулеры не видят ссылки, подгружаемые JavaScript
Владелец сайта с 2 400 страницами вёл 41 день тест и выяснил: Googlebot видит лишь 2% страниц с JS-ссылками, а GPTBot, ClaudeBot, Bingbot, PerplexityBot, Meta и Amazon — ноль.
- Googlebot выполнил JavaScript и открыл только 2% страниц с такими ссылками; остальные краулеры не нашли ни одной.
- GPTBot и ClaudeBot прошли весь HTML-раздел сайта за день, но остановились на границе JS-инъекций.
- GoogleOther, вспомогательный краулер Google, единственный активно индексировал JS-страницы — 48% из своей группы, но это не влияет на основную выдачу.
Долгие годы ответом на вопросы о клиентском рендеринге была фраза «Google выполняет JavaScript». С 2019 года, когда Googlebot перешёл на постоянную версию Chromium, в это стало легче верить. Но рост трафика из AI-ассистентов делает такой ответ устаревшим: их краулеры ведут себя совсем не как Googlebot.
Как сообщает Search Engine Land, автор эксперимента владеет бразильским бизнес-каталогом с примерно 2 400 страниц. Он разделил 21 раздел сайта: в 11 секциях все внутренние ссылки были жёстко прописаны в HTML, а в 10 — подгружались JavaScript после загрузки страницы. Чтобы исключить другие пути обнаружения, он отключил sitemap (все URL отдавали 404), убрал хлебные крошки и внутренние панели иерархии. Попасть на страницы JS-группы можно было только выполнив скрипт на родительской странице. Логирование фиксировало каждый запрос бота в течение 41 дня с проверкой IP через обратный DNS.
Результаты: почти все AI-краулеры слепы к JS
За первые 72 часа GPTBot обошёл все 759 страниц HTML-группы в первый же день, но в JS-группе остановился после 10 разделов и не перешёл ни на одну дочернюю страницу. ClaudeBot повторил ту же схему днём позже. Bingbot, PerplexityBot, OAI-SearchBot, Meta-ExternalAgent, Amazonbot и ChatGPT-User нашли ноль страниц с JS-ссылками.
Google повёл себя неоднозначно. Googlebot выполнил JavaScript и дошёл до 7 страниц из 293 в JS-группе — это 2% от группы. GoogleOther, отдельный вспомогательный краулер, открыл 142 страницы (48%), причём первый переход на JS-страницу случился через 54 минуты после старта. Но GoogleOther не участвует в формировании основной поисковой выдачи.
Через четыре дня после старта активность обхода упала на 90% для обеих групп. Итоговые цифры заморозились на уровне: Googlebot — 5% HTML и 2% JS, GoogleOther — 66% и 48%, все остальные — ноль в JS-группе.
Если ваш сайт полагается на JavaScript для внутренней перелинковки, большая часть контента может быть невидима для AI-краулеров и частично — для Googlebot. Это критично, когда трафик из AI-ассистентов растёт, а их боты не тратят ресурсы на рендеринг.
Практический вывод: базовые ссылки должны быть в HTML по умолчанию. Если без JS не обойтись, добавьте дублирующие ссылки в статический код или текстовую карту сайта. И проверяйте доступность ключевых страниц через логи ботов, а не только через Google Search Console — большинство AI-краулеров туда не попадают.
Оригинал публикации: searchengineland.com. Разбор и выводы — редакции «SEO-зоны».