Блокировка AI-краулеров: robots.txt или блок на сервере
Разбираем, почему robots.txt лишь просит ботов не заходить, а блокировка на уровне сервера, WAF или CDN действительно останавливает AI-краулеров.
ai-kraulery
Эксперимент: AI-краулеры не видят ссылки, подгружаемые JavaScript
Владелец сайта с 2 400 страницами вёл 41 день тест и выяснил: Googlebot видит лишь 2% страниц с JS-ссылками, а GPTBot, ClaudeBot, Bingbot, PerplexityBot, Meta и Amazon — ноль.