С жульем нужно бороться или как защитить свой сайт от воровства контента

 15 сентября 2018      
 Вебмастеру      
 комментария 3      
 1430

В этой статье я расскажу грустную историю (но со счастливым концом) как у меня полностью своровали содержимое сайта и приведу практические рекомендации как защитить свой блог от подобных происшествий. Рекомендации по защите описывают частный случай, когда содержимое сайта воруется хотлинком.

Как я узнал что у меня воруют содержимое сайта

6 сентября 2018 года в отчетах Яндекс.Метрики я увидел незнакомый мне URL адрес. Из чего следовало, что код моего счетчика работает на чужом сайте.

С жульем нужно бороться или как защитить свой сайт от воровства контента

Когда я перешел на этот сайт, то не поверил своим глазам — это был мой сайт на 99%. С той разницей, что была вырезана контактная информация и вставлены блоки рекламы.

Исследование сайта двойника

Я заглянул в содержимое моего двойника и увидел, что жулики полностью скопировали содержимое страниц моего сайта и при этом оставили без изменений все ссылки на изображения, таблицы стилей и скрипты. То есть воришки отдавали мой контент со своего домена, но при этом изображения, стили и скрипты по прежнему грузились с моего блога.

На лицо был явный хотлинкинг о защите от которого я писал ранее.

В этой статье приведены подробные реально работающие инструкции для веб-сервера NGINX.

Защита изображений от хотлинка

Первым делом я воспользовался рекомендациями из вышеуказанной статьи и настроил защиту изображений от хотлинка добавив следующие строки в файл конфигурации NGINX:

location ~ .(gif|png|jpeg|jpg|svg)$ {
     valid_referers none blocked ~.google. ~.bing. ~.yahoo. ~.yandex. yourdomain.com;
     if ($invalid_referer) {
        rewrite ^(.*)$ https://anotherdomain.com/hotlink.jpg break; 
     break;
    }
}

где,
yourdomain.com — имя домена вашего сайта;
valid_referers none blocked — список доверенных доменов, где изображения должны показываться;
https://anotherdomain.com/hotlink.jpg — картинка-предупреждение о нелегальном использовании изображений.

После выполнения указанной процедуры сайт жуликов стал выглядеть следующим образом:

С жульем нужно бороться или как защитить свой сайт от воровства контента

Прячем содержимое на сайте жуликов с помощью CSS

Так как воришки и файлы стилей подгружали с моего сайта, то я решил то же их защитить и отдавать стиль заглушку. Для этого по аналогии с защитой изображений я внес следующие изменения в конфигурацию NGINX:

location ~ .(css)$ {
     valid_referers none blocked ~.google. ~.bing. ~.yahoo. yandex. yourdomain.com;
     if ($invalid_referer) {
     rewrite ^(.*)$ https://another-site.com/hotlink-protection.css break; 
     break;
    }
}

где https://another-site.com/hotlink-protection.css — стили которые будут отдаваться неразрешенным доменам, то есть ворам контента.

В моей случае стили для жуликов в файле hotlink-protection.css я написал такие:

div {
    width:1px;
    height:1px;
    display:none;
}

Я уменьшил размер всех блоков до 1 пикселя и запретил их отображение в браузере. И сайт двойник стал выглядеть так:

Рекомендую прочесть:  Как установить SSL сертификат от StartSSL в панель управления VestaCP

С жульем нужно бороться или как защитить свой сайт от воровства контента

То есть весь текст исчез и на экране осталась только фоновая картинка, а фон — это тоже изображение, и вы помните, что я заменил их все ранее на картинку-заглушку с предупреждением.

Предупреждаем пользователей используя JavaScript

Казалось бы враг повержен, но я решил пойти дальше и предупредить пользователей, что они находятся на сайте мошенников. Для этого по аналогии с защитой изображений и стилей вносим изменения в файл настроек NGINX:

location ~ .(js)$ {
     valid_referers none blocked ~.google. ~.bing. ~.yahoo. yandex. yourdomain.com;
     if ($invalid_referer) {
     rewrite ^(.*)$ https://another-site.com/hotlink-protection.js break; 
     break;
    }
}

где https://another-site.com/hotlink-protection.js — скрипт для сайта воришек.

Содержимое файла JavaScript у меня такое:

window.document.write("<span style='display:block; margin:10% auto; width:300px; padding: 40px; background:#fff;box-shadow:0 0 50px #888;'><h1>Внимание!!!<br> Вы находитесь на сайте мошенников!</h1></span>");

В итоге на домене жуликов стало красоваться следующее предупреждение:

С жульем нужно бороться или как защитить свой сайт от воровства контента

По-моему неплохой вариант, содержимого сворованного сайта в браузере не видно, чужая реклама не отображается (значит мошенники не зарабатывают), посетители предупреждены, что они на сайте жуликов. И на этом, конечно, можно было поставить жирный крест, если бы не одно большое НО…

Как удалить содержимое сайта мошенников

Все описанные выше процедуры скрыли ворованные контент от глаз посетителей сайта двойника. Но он (контент) никуда не делся, а значит отлично видится поисковыми роботами, что в конечном итоге вредит моему блогу.

С жульем нужно бороться или как защитить свой сайт от воровства контента

Обратите внимание, жулики пытаются монетизировать ворованный контент в РСЯ!

Платон посылает на ЙУХ

Так как сайт воришек копирует содержимое моего блога и пытается попасть в поисковую выдачу Яндекса по тем же запросам, что и мой сайт, то я справедливо решил, что это будет интересно Платону Щукину. Но получил ответ в стиле «Поисковая система Яндекс всего лишь зеркало интернета» и что они не вправе самостоятельно принимать решения кому принадлежат авторские права, а кого нужно удалять из поисковой выдачи.

Ну, да, я же не Газпром-Медиа 🙂

Блокировка объявлений Рекламной Сети Яндекса

Мне совершенно непонятно как сайт мошенников попал в РСЯ? Конечно, было очень глупо со стороны жуликов украсть содержимое чужого сайта и пытаться его монетизировать в РСЯ. Но куда смотрели модераторы и асессоры рекламной сети, когда они одобряли сайт воришек? Неужели они не видели, что все ссылки ведут на мой блог? Что в контенте присутствует код счетчика Яндекс.Метрики совершенного другого сайта, в том числе код счетчика РСЯ?

Рекомендую прочесть:  Исправляем ошибку 1062 "causes auto_increment resequencing" в MySQL

Конечно я написал жалобу в РСЯ, и через 4 дня получил ответ, что они будут разбираться.

С жульем нужно бороться или как защитить свой сайт от воровства контента

Но к этому моменту сайт злоумышленников уже не работал и я думаю, что их разбирательства ни к чему не приведут.

Разделегирование домена и блокировка хостинга мошенников

Этот пункт я выполнил первым, еще до обращения в Яндекс. Я посмотрел историю WHOIS и узнал регистратора домена:

С жульем нужно бороться или как защитить свой сайт от воровства контента

После чего 7 сентября 2018 года я написал жалобу в TimeWeb. Мое обращение зарегистрировали, пообещали ответить в этот же день, но…

С жульем нужно бороться или как защитить свой сайт от воровства контента

По состоянию на 14 сентября (прошло 7 дней после моего обращения) ответа я так и не получил. Неужели TimeWeb возомнил себя абузоустойчивым хостингом? Но как какое вообще возможно в России?

Счастливый финал

Через 4 дня после начала этой невеселой истории сайт мошенников перестал функционировать. 10 сентября на нем появилась надпись site curretly under work

А уже 14 сентября доменное имя лишилось хостинга и было припарковано:

С жульем нужно бороться или как защитить свой сайт от воровства контента

Что стало причиной такого развития событий я не знаю. Надеюсь, что специалисты TimeWeb все-таки вняли моим доводам и разобрались с мошенниками. А приведенные в данной статье методы защиты сайта от воровства были дополнительным подспорьем.

Недостатки предложенных технических решений

Защита от хотлинка предполагает блокировку и замену файлов на основании их расширений (jpg, png, css, js). И если адреса ваших страниц будут заканчиваться этими символами, то такие страницы окажутся заблокированными:

С жульем нужно бороться или как защитить свой сайт от воровства контента

Выводы

Чем популярнее ваш ресурс, тем больше желающих украсть его содержимое и заработать на этом. Будьте готовы к тому, что никто не побежит отстаивать ваши интересы и вам самим придется доказывать свою правоту. Используйте все доступные вам технические средства, чтобы максимально усложнить жизнь воришкам.

Благодарности

При написании статьи были использованы следующие источники:

  1. SEO блог Михаила Шакина
  2. Сосновский.ру — продвижение сайтов, заработок в интернете, контекстная реклама и немного ёлок
Поделись этой страницей с друзьями!

Прочтите это обязательно

Защита изображений от хотлинка на NGINX

Рано или поздно все владельцы сайтов сталкиваются с воровством контента с их сайтов. Как правило, чем популярн ...

Домены и хостинг hotlink nginx Далее

Сброс счетчика тонера Brother DCP-7032R

У меня дома довольно старенькое МФУ Brother DCP-7032R. Печатаем мы на нем мало и до сих порт используем старто ...

Компьютеное железо brother Далее

Обсуждение: 3 комментария

  1. Стас:

    Большое спасибо за вашу статью. Предупрежден — значит вооружен!

    Ответить
  2. qwe:

    > И если адреса ваших страниц будут заканчиваться этими символами, то такие страницы окажутся заблокированными

    Просто кто-то не умеет в регулярные выражения.

    Ответить
    1. Татьяна:

      Поясните, как правильно?

      Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Нажимая кнопку "Отправить" Вы даёте свое согласие на обработку введенной персональной информации в соответствии с Федеральным Законом №152-ФЗ от 27.07.2006 "О персональных данных", на условиях и для целей определенных политикой конфиденциальности.

2018 © Технический блог
SQL - 100 | 2,003 сек. | 9.47 МБ
доступность сайта