Google: robots.txt управляет обходом, а не обучением ИИ
В новом видео Google Гэри Иллис объяснил, что robots.txt регулирует обход сайта, а не использование контента. Для неанглоязычных путей он советует процентное кодирование.
kraulery
Персональные ИИ-агенты Meta Muse и OpenAI dots меняют правила SEO
Агенты Meta Muse и OpenAI dots заходят на сайты через коннекторы или облачные браузеры, и это подрывает привычные сигналы robots.txt, он-страничной оптимизации и аналитики.
ИИ цитирует бренд: как выбрать, что исправлять в первую очередь
Констанс Тан объяснила, как отличить ошибки в данных о бренде от нехватки упоминаний и проблем с доступом ботов. Разбираем её подход к приоритетам.
Google расширил справку о роботе Mediapartners-Google
Google обновил документацию по краулеру Mediapartners-Google: теперь она описывает не только AdSense, но и другие сервисы. Об этом сообщает Search Engine Journal.
Все договариваются с Google, а Meta читает сайты бесплатно
Поисковые системы платят за контент, а Meta свободно использует данные для обучения ИИ, не возвращая трафик. Автор SEJ призывает задуматься о справедливости такого подхода.
Meta предположительно создаёт собственный поисковый движок
Компания Meta, владеющая Facebook и Instagram, возможно, создаёт собственный поисковый движок. На это указывает активный обход интернета её краулером, о чём сообщил разработчик Питер Левелс в соцсети X.
Поисковые роботы Google используют не только GET и POST
Представитель Google Гэри Иллиес рассказал, что краулеры компании отправляют HTTP-запросы с методами HEAD, OPTIONS, PUT, PATCH и DELETE. На них приходится менее 1,5% от общего числа запросов, и нужны они для работы с JavaScript.
Google перенёс файлы с IP-адресами краулеров на новый адрес
Google Search Central сообщил о переносе файлов, содержащих диапазоны IP-адресов краулеров, на новое расположение. Изменение важно для владельцев сайтов и администраторов, использующих эти списки для настройки доступа.