С жульем нужно бороться или как защитить свой сайт от воровства контента

В этой статье я расскажу грустную историю (но со счастливым концом) как у меня полностью своровали содержимое сайта и приведу практические рекомендации как защитить свой блог от подобных происшествий. Рекомендации по защите описывают частный случай, когда содержимое сайта воруется хотлинком.

Как я узнал что у меня воруют содержимое сайта

6 сентября 2018 года в отчетах Яндекс.Метрики я увидел незнакомый мне URL адрес. Из чего следовало, что код моего счетчика работает на чужом сайте.

Когда я перешел на этот сайт, то не поверил своим глазам — это был мой сайт на 99%. С той разницей, что была вырезана контактная информация и вставлены блоки рекламы.

Исследование сайта двойника

Я заглянул в содержимое моего двойника и увидел, что жулики полностью скопировали содержимое страниц моего сайта и при этом оставили без изменений все ссылки на изображения, таблицы стилей и скрипты. То есть воришки отдавали мой контент со своего домена, но при этом изображения, стили и скрипты по прежнему грузились с моего блога.

На лицо был явный хотлинкинг о защите от которого я писал ранее.

В этой статье приведены подробные реально работающие инструкции для веб-сервера NGINX.

Защита изображений от хотлинка

Первым делом я воспользовался рекомендациями из вышеуказанной статьи и настроил защиту изображений от хотлинка добавив следующие строки в файл конфигурации NGINX:

location ~ .(gif|png|jpeg|jpg|svg)$ {
     valid_referers none blocked ~.google. ~.bing. ~.yahoo. ~.yandex. yourdomain.com;
     if ($invalid_referer) {
        rewrite ^(.*)$ https://anotherdomain.com/hotlink.jpg break; 
     break;
    }
}

где,
yourdomain.com — имя домена вашего сайта;
valid_referers none blocked — список доверенных доменов, где изображения должны показываться;
https://anotherdomain.com/hotlink.jpg — картинка-предупреждение о нелегальном использовании изображений.

После выполнения указанной процедуры сайт жуликов стал выглядеть следующим образом:

Прячем содержимое на сайте жуликов с помощью CSS

Так как воришки и файлы стилей подгружали с моего сайта, то я решил то же их защитить и отдавать стиль заглушку. Для этого по аналогии с защитой изображений я внес следующие изменения в конфигурацию NGINX:

location ~ .(css)$ {
     valid_referers none blocked ~.google. ~.bing. ~.yahoo. yandex. yourdomain.com;
     if ($invalid_referer) {
     rewrite ^(.*)$ https://another-site.com/hotlink-protection.css break; 
     break;
    }
}

где https://another-site.com/hotlink-protection.css — стили которые будут отдаваться неразрешенным доменам, то есть ворам контента.

В моей случае стили для жуликов в файле hotlink-protection.css я написал такие:

div {
    width:1px;
    height:1px;
    display:none;
}

Я уменьшил размер всех блоков до 1 пикселя и запретил их отображение в браузере. И сайт двойник стал выглядеть так:

То есть весь текст исчез и на экране осталась только фоновая картинка, а фон — это тоже изображение, и вы помните, что я заменил их все ранее на картинку-заглушку с предупреждением.

Предупреждаем пользователей используя JavaScript

Казалось бы враг повержен, но я решил пойти дальше и предупредить пользователей, что они находятся на сайте мошенников. Для этого по аналогии с защитой изображений и стилей вносим изменения в файл настроек NGINX:

location ~ .(js)$ {
     valid_referers none blocked ~.google. ~.bing. ~.yahoo. yandex. yourdomain.com;
     if ($invalid_referer) {
     rewrite ^(.*)$ https://another-site.com/hotlink-protection.js break; 
     break;
    }
}

где https://another-site.com/hotlink-protection.js — скрипт для сайта воришек.

Содержимое файла JavaScript у меня такое:

window.document.write("<span style='display:block; margin:10% auto; width:300px; padding: 40px; background:#fff;box-shadow:0 0 50px #888;'><h1>Внимание!!!<br> Вы находитесь на сайте мошенников!</h1></span>");

В итоге на домене жуликов стало красоваться следующее предупреждение:

По-моему неплохой вариант, содержимого сворованного сайта в браузере не видно, чужая реклама не отображается (значит мошенники не зарабатывают), посетители предупреждены, что они на сайте жуликов. И на этом, конечно, можно было поставить жирный крест, если бы не одно большое НО…

Как удалить содержимое сайта мошенников

Все описанные выше процедуры скрыли ворованные контент от глаз посетителей сайта двойника. Но он (контент) никуда не делся, а значит отлично видится поисковыми роботами, что в конечном итоге вредит моему блогу.

Обратите внимание, жулики пытаются монетизировать ворованный контент в РСЯ!

Платон посылает на ЙУХ

Так как сайт воришек копирует содержимое моего блога и пытается попасть в поисковую выдачу Яндекса по тем же запросам, что и мой сайт, то я справедливо решил, что это будет интересно Платону Щукину. Но получил ответ в стиле «Поисковая система Яндекс всего лишь зеркало интернета» и что они не вправе самостоятельно принимать решения кому принадлежат авторские права, а кого нужно удалять из поисковой выдачи.

Ну, да, я же не Газпром-Медиа 🙂

Блокировка объявлений Рекламной Сети Яндекса

Мне совершенно непонятно как сайт мошенников попал в РСЯ? Конечно, было очень глупо со стороны жуликов украсть содержимое чужого сайта и пытаться его монетизировать в РСЯ. Но куда смотрели модераторы и асессоры рекламной сети, когда они одобряли сайт воришек? Неужели они не видели, что все ссылки ведут на мой блог? Что в контенте присутствует код счетчика Яндекс.Метрики совершенного другого сайта, в том числе код счетчика РСЯ?

Конечно я написал жалобу в РСЯ, и через 4 дня получил ответ, что они будут разбираться.

Но к этому моменту сайт злоумышленников уже не работал и я думаю, что их разбирательства ни к чему не приведут.

Разделегирование домена и блокировка хостинга мошенников

Этот пункт я выполнил первым, еще до обращения в Яндекс. Я посмотрел историю WHOIS и узнал регистратора домена:

После чего 7 сентября 2018 года я написал жалобу в TimeWeb. Мое обращение зарегистрировали, пообещали ответить в этот же день, но…

По состоянию на 14 сентября (прошло 7 дней после моего обращения) ответа я так и не получил. Неужели TimeWeb возомнил себя абузоустойчивым хостингом? Но как какое вообще возможно в России?

Счастливый финал

Через 4 дня после начала этой невеселой истории сайт мошенников перестал функционировать. 10 сентября на нем появилась надпись site curretly under work

А уже 14 сентября доменное имя лишилось хостинга и было припарковано:

Что стало причиной такого развития событий я не знаю. Надеюсь, что специалисты TimeWeb все-таки вняли моим доводам и разобрались с мошенниками. А приведенные в данной статье методы защиты сайта от воровства были дополнительным подспорьем.

Недостатки предложенных технических решений

Защита от хотлинка предполагает блокировку и замену файлов на основании их расширений (jpg, png, css, js). И если адреса ваших страниц будут заканчиваться этими символами, то такие страницы окажутся заблокированными:

Выводы

Чем популярнее ваш ресурс, тем больше желающих украсть его содержимое и заработать на этом. Будьте готовы к тому, что никто не побежит отстаивать ваши интересы и вам самим придется доказывать свою правоту. Используйте все доступные вам технические средства, чтобы максимально усложнить жизнь воришкам.

Благодарности

При написании статьи были использованы следующие источники:

1. SEO блог Михаила Шакина
2. Сосновский.ру — продвижение сайтов, заработок в интернете, контекстная реклама и немного ёлок