Common Crawl: сайты используют llms.txt как robots.txt
Анализ Common Crawl показал, что большинство файлов llms.txt создано по шаблонам, многие не содержат ссылок, а некоторые включают правила, которые формат не может enforce.
llms-txt
Спецификация llms.txt обновилась до версии 2
Вышла вторая версия спецификации llms.txt: в ней появились формальные ссылки, помогающие ИИ-агентам находить Markdown-версии страниц сайта. Нововведение упрощает взаимодействие поисковых роботов с контентом.