Common Crawl: сайты используют llms.txt как robots.txt
Анализ Common Crawl показал, что большинство файлов llms.txt создано по шаблонам, многие не содержат ссылок, а некоторые включают правила, которые формат не может enforce.
- Common Crawl проверил 584 107 файлов llms.txt
- Большинство файлов создано по шаблонам, многие без ссылок
- Часть сайтов использует llms.txt как robots.txt, что неэффективно
Как сообщает Search Engine Journal, некоммерческая организация Common Crawl провела анализ файлов llms.txt, предназначенных для помощи ИИ-ботам в навигации по контенту сайтов. Исследование охватило 584 107 файлов, найденных в интернете.
Ключевые выводы анализа
Подавляющее большинство проанализированных файлов llms.txt были созданы с использованием стандартных шаблонов. Это говорит о том, что владельцы сайтов зачастую генерируют их автоматически, не адаптируя содержимое под конкретный ресурс.
Оказалось, что многие файлы llms.txt вообще не содержат ссылок, что снижает их полезность для ИИ-систем, которым они должны помогать. Также были обнаружены случаи, когда сайты пытались использовать llms.txt для передачи инструкций, аналогичных директивам robots.txt. Однако формат llms.txt не предназначен для ограничения доступа, и подобные правила не могут быть применены.
Практические выводы
Исследование подчеркивает, что llms.txt — это новый и еще не устоявшийся механизм. Сайты активно экспериментируют с ним, но часто неправильно понимают его предназначение. Для эффективного использования важно четко разделять функции: robots.txt управляет обходом, а llms.txt предоставляет ИИ-ассистентам структурированную информацию о контенте, но не является инструментом контроля доступа.
Для российских владельцев сайтов и SEO-специалистов это сигнал не рассматривать llms.txt как замену или дополнение к robots.txt. Формат llms.txt не поддерживает правила запрета, поэтому не стоит ожидать, что ИИ-боты будут ему подчиняться при блокировках.
При создании llms.txt важно наполнять его актуальными ссылками и описаниями страниц, а не генерировать пустые шаблоны. Использование файла по назначению может улучшить взаимодействие с ИИ-сервисами, но не заменяет базовую SEO-оптимизацию и корректную настройку robots.txt.
Оригинал публикации: www.searchenginejournal.com. Разбор и выводы — редакции «SEO-зоны».