Удаляем клоны своего сайта из индекса ПС

В статье "Если вы обнаружили полный клон своего сайта в интернете" приводится несложный код на JS, с помощью которого можно собирать трафик c клонов сайтов, работающих на базе функции file_get_contents и ее аналогов.

В нашем случае под термином "клоны сайтов" подразумеваются динамичные идентичные сайты (дубликаты), размещенные на других доменах в сети интернет. Копии таких сайтов повторяют не только текстовое содержимое, они выглядят как "две капли воды", копируя иногда с оригинального сайта счетчики аналитики и рекламные коды.

Код против клонов следующий:

if("ваш-"+"сай"+"т.ru"!==document.domain){
document.write('<meta http-equiv="refresh" content="0; url=https://ваш-с'+'айт.ru">');}

или:

var $url = "мой" + "сай" + "т.ру";
if ( $url !== location.host) {location.href = 'http://' + $url;}

Данный код проверяет, принадлежит ли загруженная страница такому-то домену, если нет, то осуществляет редирект на такой домен. Таким образом, если робот удаленного сайта спарсит контент вашего сайта и разместит его на другом домене, то пользователь, открыв такую страничку в своем браузере, будет перенаправлен на оригинальную страницу, откуда эту информацию "позаимствовал" робот.

Помимо несказанных благодарностей от читателей, часто и звучал вопрос: как выкинуть клон из индекса поисковых систем? Ведь так или иначе, а тексты продолжают оставаться на клонах и являются дублями!

Убиваем клон сайта в Яндексе

Проверить наличие страниц клона в индексе Яндекса можно поисковым запросом:

host:klon.ru | host:www.klon.ru

Выкинуть все это из Яндекса просто - необходимо сделать клон зеркалом. Яндекс самостоятельно определит все ваши клоны зеркалами, так как такие сайты содержат практически идентичный контент (вплоть до дизайна), вам лишь необходимо указать Яндексу какое из зеркал главное (пока он это не сделал автоматически и не в вашу пользу).

Подтверждаем права на клон

Добавляем клон сайта в Яндекс. В качестве подтверждения прав вы можете выбрать как Мета-тег (добавляется в код главной страницы вашего сайта (в раздел head)), так и HTML-файл (размещается в корне сайта). Подтверждающие коды Вы РАЗМЕЩАЕТЕ НА СВОЕМ САЙТЕ! И нажимаете "Проверить".

Подтверждение прав на сайт в Яндексе

Поскольку клон "хавает" все что мы ему подсовываем, то проблем с подтверждением прав на клон не должно возникнуть!

Переезд клона на главное зеркало

В Яндекс.Вебмастере после подтверждения прав на клон, в разделе Индексирование → Переезд сайта осуществляем перезд (склеиваем зеркала). Поскольку переезжать можно только на домены с подтверждёнными правами, оригинальный сайт также должен быть добавлен в Яндекс.Вебмастер.

Переезд сайта в Яндексе

Выберите оригинальный сайт из списка, на который переедет Ваш клон и нажмите "Сохранить". Смена главного зеркала занимает от одной до трех недель. После этого сайт начинает участвовать в поиске под именем нового главного зеркала. Проще говоря, сайт-клон в поиске Яндекса будет заменен на ваш домен!

Вскоре веб-мастер по внутренней почте получит такое извещение от Яндекса о смене главного зеркала:

Извещение Яндекса о переезде сайта

Убиваем клон сайта в Google

Проверить наличие страниц клона в поиске Google можно поисковым запросом:

site:klon.ru

Предпочтительнее сразу перейти к удалению всех страниц клона из выдачи, причем, это можно сделать в течении нескольких минут/часов.

Подтверждаем права на клон

В Google.Вебмастере жмем "Добавить ресурс", подтверждаем права владения на клон (процедура почти аналогичная как у Яндекса).

Подтверждение прав на сайт в Google

Удаляем клон из результатов поиска

В разделе Индекс GoogleУдалить URL-адреса нажимаем "Временно скрыть". В поле "Введите URL страницы, которую вы хотите скрыть..." ничего не указываем, а нажимаем "Продолжить"

Удаление клона сайта из Google

Данный инструмент приведет к удалению из результатов поиска всех страниц клона как минимум на 90 дней! Это не фактическое удаление из индекса, а лишь его скрытие, но такого шага вполне достаточно на данном этапе борьбы с клонами Вашего сайта.

Вскоре клон исчезнет из результатов поиска, о чем будет свидетельствовать статус "Удалено".

Клон сайта, скрытый из индекса Google

Если у Вашего сайта несколько клонов, данную процедуру необходимо проделать для всех сайтов аналогичным образом.

Контрольный выстрел - файл robots.txt

В корне своего (оригинального сайта) размещаем фейковый klonrobots.txt с содержимым:

User-agent: *
Disallow: /

В корневом файле .htaccess добавляем правило (где original.ru - ваш сайт):

RewriteEngine on
RewriteCond %{HTTP_HOST} !original.ru
RewriteCond %{REQUEST_URI} /robots.txt
RewriteRule robots.txt klonrobots.txt [L]

Этот фокус может сработать не для всех клонов, но как дополнительная мера борьбы с клонированием будет весьма кстати.

Оцените материал:
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (19 голоса, рейтинг: 4,89 из 5)
Загрузка...

Вячеслав - типичный интернетчикВячеслав Скоблей (ака files) - типичный интернетчик. Скитаюсь интернетом, пишу на PHP, увлекаюсь созданием веб-сайтов на Wordpress, решаю многочисленные проблемы, которые до появления интернета не существовали...

Специализируюсь на безопасности сайтов: защищаю сайты от атак и взломов, занимаюсь лечением вирусов на сайтах и профилактикой...

Наверняка у Вас есть вопросы, просьбы или пожелания. Не стесняйтесь спросить, я отвечаю всегда быстро...

46 комментарий

  1. Здравствуйте! Подскажите что можно сделать. Недавно появились несколько клонов моих сайтов. В ходе переписки удалось избавиться от клонов (они полностью дублировали всю информацию и весь дизайн оригинала), жаль поздно наткнулся на ваши статьи. Теперь остался один полуклон. В yandex он отображается с моим favicon title description, хотя при открытии внутри совершенно другой интернет магазин, по словам администрации данного ресурса они периодически борются с такими вещами. Есть ли какие методы, способы избавиться от этого полуклона?
    http://artemdolgin.ru - это клон
    http://genericsforyou.ru - сайт оригинал

  2. Огромное человеческое СПАСИБО! Права на клон подтвердил и ян и го.
    Как вас можно отблагодарить?

    1. Вячеслав Скоблей says:

      У меня есть кнопочка Donate https://seo-zona.ru/donate/

  3. Добрый день!
    Мой сайт на Joomla.

    Вот этот код не сработал:

    if("ваш-"+"сай"+"т.ru"!==document.domain){
    document.write('<meta http-equiv="refresh" content="0; url=https://ваш-с'+'айт.ru">');}

    но сработал второй:

    var $url = "мой" + "сай" + "т.ру";
    if ( $url !== location.host) {location.href = 'http://' + $url;}

    Проверил через noblockme.ru/go?url=http://ваш.сайт.ру - редиеркт работает.

    Подождал пару дней, но редирект с сайта-клона не перенаправляет на оригинал. Не подскажите в чем может быть дело?
    Сайт-клон: linkis.com/factum-info.net/psyc/aZdlv?next=4
    Оригинал: factum-info.net

    P.S. Может быть с linkis.com есть какой-то особый метод борьбы?

    1. Вячеслав Скоблей says:

      Приветствую, Валентин. Вы немножко не по адресу! По указанному вами адресу страница вашего сайта отображается в iframe (это не клон). Попробуйте прописать в файле .htaccess:

      <IfModule mod_headers.c>
      Header always append X-Frame-Options SAMEORIGIN
      </IfModule>
      1. Спасибо.

  4. Давит says:

    Здравтвуйте, спасибо большое.
    Подтвердил права на клоны.))
    Не подскажите как в новой консоли Гугла удалить из индекса?
    Спасибо

  5. Александр says:

    Спасибо! Но не работает - попробовал все - клон загружается легко, а вот код с просто переадресацией работает, в чем может быть проблема?

    1. Вячеслав Скоблей says:

      Что не работает? Конкретику плиз.

      1. Александр says:

        Извините, хотел написать это сообщение комментарием к записи https://seo-zona.ru/udalyaem-klony-svoego-sajta-iz-indeksa-ps-2018-04-07.html#comment-10409
        Суть в том, что просто переадресация на мой сайт с клона - работает отлично, за что Вам огромное спасибо!
        Но я бы хотел чтобы на клоне разворачивался не мой сайт, а просто пустая страница без контента, пробовал прописать все методы, которые вы указали они не срабатывают, например вставляю строчку (со своими данными):
        var $url = "goo-" + "gl" + "e.ru"; if ( $url !== location.host) {
        // вместо содержимого на удаленном сайте напишем - KOZEL
        document.getElementsByTagName('body')[0].innerText = 'KOZEL';
        }
        в итоге сайт грузится, в логах хрома пишется:
        cannot set property 'innertext' of undefined

        1. Вячеслав Скоблей says:

          Александр, причин может быть несколько. Может на странице не находится тег body или их несколько (по ошибке)?

          1. Вячеслав Скоблей says:

            Александр, добавлю, что "просто пустая страница без контента" - не совсем верно. По этому методу, пользователь, который зайдет на сайт, увидит ПУСТУЮ БЕЛУЮ страницу, но сам контент будет доступным для роботов.

            1. Александр says:

              Понял,
              а разве роботы js не поймут?
              а нет вариантов сокрытия контента от роботов? Клон уже проиндексирован Гуглом, я по вашей инструкции клон снес из индекса, а яндекс еще не успел проиндексировать, вот я и думал как-нибудь сокрыть контент на клоне от него

              1. Вячеслав Скоблей says:

                По этому методу вы скрываете контент для пользователя, но не удаляете его! С помощью JS кода вы не можете воздействовать на содержимое удаленной страницы физически, так как JS - браузерный код (он исполняется на стороне юзера).

                1. Александр says:

                  Понял, спасибо!
                  Пробовал еще по методу подмены robots.txt, но на клоне подмена не срабатывает

                  1. says:

                    Я в .htaccess заблокировал IP донора и на этом все закончилось.

  6. Александра says:

    Есть проблема с подтверждением прав на клон в google. Если Яндекс подтвердил без проблем, то google пишет следующее

    Утверждает, что сайт взломан. И что теперь делать?)

    1. Вячеслав Скоблей says:

      В таком случае никак. Гугл уже готовится применить санкции к сайту. Смотрите в сторону редиректа.

  7. Алекс says:

    Помогите! Один сайт своровал мои тексты, контактов его нет, хостинг абузовый, как мне выкинуть его страницы из индекса?

    1. Вячеслав Скоблей says:

      В суде сможете доказать, что вы являетесь автором текстов на Вашем сайте?

      1. Алекс says:

        наверное да, но судиться не вариант. Как можно удалить его или насолить?

  8. Ильдар says:

    Вячеслав, спасибо за код против клонов. Спешу сообщить, что он не срабатывает для кириллических доменов.
    В переменную $url я подставлял поочередно, как русский вариант:

    "ваш-"+"сай"+"т.ru"!

    так и название в Punycode:

    "xn--"+"--7sbbf"+"2b7bj"+"7b.xn--p1af"!

    Но оба варианта не приводят к желаемому результату. Частично работают, но с глюками!

    1. Вячеслав Скоблей says:

      Вам нужно модифицировать код и проверять оба варианта написания домена (кириллица и Punycode). Вот так:

      var $url1 = "ваш-"+"сай"+"т.ru"; 
      var $url2 = "xn--"+"--7sbbf"+"2b7bj"+"7b.xn--p1af";
      if ($url1!= location.host && $url2!= location.host) {location.href = 'http://' + $url2;}
  9. says:

    У меня постоянно перезагружает страницу. с этим кодом:

    if("ваш-"+"сай"+"т.ru"!==document.domain){
    document.write('');}

    остальные не работают

    1. Вячеслав Скоблей says:

      Если в строчке:

      if("ваш-"+"сай"+"т.ru"!==document.domain)

      стоит не Ваш сайт, то все верно: вас будет постоянно перезагружать.

  10. Вячеслав, спасибо за статью!!!
    Можно уточнить 2 момента (у меня динамические клоны моего сайта, в dns А записи стоит ip адрес моего сайта):
    1) Считает ли яндекс работу Вашего скрипта как 301 редирект, ведь переадресация не указывается как обычно через мета-тег?
    2) Блокировку индексации сайтов клонов через подложный klonrobots.txt нужно использовать после переезда сайта (когда о переезде сообщит яндекс в панели вебмастера)?

    Скажу как у меня всё было. Может как опыт будет полезен. На второй день после запуска сайта (до этого был запаролен 1 неделю) появился динамический клон на другом домене 7 летнего возраста и несколько на его поддоменах.
    Сделал по вашей инструкции:
    1) Скрипт на каждой странице с переадресацией на соответствующую страницу моего сайта.
    2) Подтвердил права на домен и его поддомены (которые уже были в индексе).
    3) Настроил переезд сайтов на мой домен в панелях яндекс и гугл
    3) Через несколько дней удалил из индекса всех клонов каждую страницу в панелях Google и Яндекс (инструменты). Это отлично стработало сразу в гугл.
    4) В яндексе всё равно висели клоны в поиске (12 дней прошло после заявки на переезд). Решил подменить файлы robots.txt для клонов по вашей инструкции (хотя яндекс пишет при переезде оба сайта должны быть доступны к индексации). В итоге через сутки клоны вылетели из индекса яндекса 1-2 страница, а основной домен остался на 5-6 странице или вообще пропал. Вопрос поэтому: может поспешил с подменой файлов robots.txt и надо было подождать 3 недели. (В панели яндекс ещё не указано о переезде клонов на мой домен. И видит ли яндекс скрипт как 301 редирект?)
    Заранее благодарю за ответ

    1. Вячеслав Скоблей says:

      1) Считает ли яндекс работу Вашего скрипта как 301 редирект, ведь переадресация не указывается как обычно через мета-тег?

      Не считает 301 редиректом. Суть трюка собрать трафик, пока не склеены зеркала или нет возможности что-либо еще сделать.

      2) Блокировку индексации сайтов клонов через подложный klonrobots.txt нужно использовать после переезда сайта (когда о переезде сообщит яндекс в панели вебмастера)?

      Все средства хороши. Не важно в какой последовательности. Если вы подтвердили права как в Яндексе, так и Google (что не всегда доступно), то это уже победа над клоном.

  11. says:

    Эти 2 статьи - самые крутые из найденных по теме борьбы с клонами. Спасибо!

  12. Игорь says:

    Чет я все же думаю делать левые домены своим неглавным зеркалом не есть гуд... там может быть "засранный" дроп, с которого таким образом все перетечет на мой основной домен, история плохая, ссылочное
    думаю норм вариант писать козел ))

    1. Вячеслав Скоблей says:

      Зеркало Яндекс в любом случае увидит, поскольку весь код (не говоря про содержимое) у клонов идентичен. Вся трагедия в том, что если вы доверите этот процесс алгоритмам Яндекса (т.е. выбор главного зеркала), то я видел сам (на некоторых клиентских сайтах), как Яндекс присваивал главное зеркало клону :)

  13. Александр says:

    Вячеслав подскажите как эти три скрипта сделать для сайта https так как есть сейчас поставили, у клона пусто, но у нашего сайта стало незащищенное соединение.

    1. Вячеслав Скоблей says:

      У вас разве не настроен редирект с http:// на https:// ?

      1. Александр says:

        Настроен, вот какой стоит

        RewriteEngine On
        RewriteCond %{REQUEST_URI} !^/robots\.txt$
        RewriteCond %{HTTP:X-Forwarded-proto} !^https$
        RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

        1. Вячеслав Скоблей says:

          Уточните, после какого скрипта у Вас начались проблемы? Также укажите свой сайт

          1. Александр says:

            Ставили который сделает страницу клона пустой, как только клон стал пустым, на сайте пропало защищенное соединение и на сервере появился активный второй самоподписанный сертификат, хостеры сами не поймут откуда он взялся.

            1. Вячеслав Скоблей says:

              С сертификатом у вас все хорошо! Если у Вас были проблемы с замком и самоподписанным сертификатом, задавайте вопросы хостингу. Данный скрипт здесь совершенно не при чем!
              Кстати,

              document.getElementsByTagName('body')[0].style.visibility="hidden";

              фактически не удаляет контент с клона, он присутствует в коде удаленного сайта и будет индексироваться. Но его рекомендуется ставить для понижения поведенческих факторов.

  14. Дмитрий says:

    Вячеслав, в клоне вырезается verification из мета тега
    И не получается подтвердить права, что делать тогда.

    1. Вячеслав Скоблей says:

      использовать вариант с HTML-файлом (размещается в корне сайта)

  15. Сергей says:

    Здравствуйте!
    Немного непонятно про "Контрольный выстрел - файл robots.txt"
    txt так и назвать klonrobots.txt?
    Если у основного прописать:
    User-agent: *
    Disallow: /
    То он перестанет индексироваться.
    Спасибо!

    1. Вячеслав Скоблей says:

      У Вас должно быть 2 файла:
      robots.txt (Ваш)
      klonrobots.txt (новый, в котором Disallow: /)

  16. Георгий says:

    Код из начала статьи осуществляет редирект на родной сайт - неприятно для вора сайта!
    А какие еще варианты есть? (западло)

    1. Вячеслав Скоблей says:
      <script>var $url = "goo-" + "gl" + "e.ru"; if ( $url !== location.host) {
      // вместо содержимого на удаленном сайте напишем - KOZEL
      document.getElementsByTagName('body')[0].innerText = 'KOZEL';
      }</script>
      <script>var $url = "goo-" + "gl" + "e.ru"; if ( $url !== location.host) {
      //сделает страницу клона пустой
      document.getElementsByTagName('body')[0].style.visibility="hidden";
      }</script>
      <script>var $url = "goo-" + "gl" + "e.ru"; if ( $url !== location.host) {
      //оставит на странице лишь набор латинского бредотекста
      document.body.innerHTML = document.body.innerHTML.replace(/\W/g, ' ');
      }</script>

      и т.д.

      1. Дмитрий says:

        Здравствуйте Вячеслав, я так понял, что вместо google.ru свой домен надо вписать. А какой будет лучше для поисковиков? Устали бороться с клонами

        1. Вячеслав Скоблей says:

          Да, вместо google.ru пишите именно СВОЙ ДОМЕН!

          1. Руслан says:

            Странно, но после того, как я устанавливаю любой из этих скриптов, то всё, что должно произойти на сайте клоне, происходит на моём сайте!

  17. says:

    прикольно!! спасибо!

Добавить комментарий

Ваш адрес email не будет опубликован.