Все договариваются с Google, а Meta читает сайты бесплатно
Поисковые системы платят за контент, а Meta свободно использует данные для обучения ИИ, не возвращая трафик. Автор SEJ призывает задуматься о справедливости такого подхода.
kraulery
Meta предположительно создаёт собственный поисковый движок
Компания Meta, владеющая Facebook и Instagram, возможно, создаёт собственный поисковый движок. На это указывает активный обход интернета её краулером, о чём сообщил разработчик Питер Левелс в соцсети X.
Поисковые роботы Google используют не только GET и POST
Представитель Google Гэри Иллиес рассказал, что краулеры компании отправляют HTTP-запросы с методами HEAD, OPTIONS, PUT, PATCH и DELETE. На них приходится менее 1,5% от общего числа запросов, и нужны они для работы с JavaScript.
Google перенёс файлы с IP-адресами краулеров на новый адрес
Google Search Central сообщил о переносе файлов, содержащих диапазоны IP-адресов краулеров, на новое расположение. Изменение важно для владельцев сайтов и администраторов, использующих эти списки для настройки доступа.