waf

Блокировка AI-краулеров: robots.txt или блок на сервере

Разбираем, почему robots.txt лишь просит ботов не заходить, а блокировка на уровне сервера, WAF или CDN действительно останавливает AI-краулеров.