Cloudflare берёт на себя robots.txt и задаёт политику для ИИ-краулеров
Cloudflare запустила Bot Preference Sync: политика для ИИ-ботов задаётся по категориям, а не по отдельным краулерам. Файл robots.txt формируется автоматически.
Cloudflare запустила Bot Preference Sync: политика для ИИ-ботов задаётся по категориям, а не по отдельным краулерам. Файл robots.txt формируется автоматически.