Синхронизация резервных копий VestaCP с Яндекс.Диск


Резервных копий много не бывает. Предлагаю еще одно решение по копированию бекапов созданных панелью управления VestaCP на Яндекс.Диск. Особенность данного решения в том, что передаваемые данные на Яндекс.Диск синхронизируются, то есть являются полной копией того, что лежит у вас в директории /home/bakup на сервере.

Консольный клиент

Для реализации задуманного (копирования данных на Яндекс.Диск) я воспользуюсь консольным клиентов Linux/FreeBSD для работы с облачным хранилищем Яндекс.Диск (Yandex.Disk) посредством REST API — https://github.com/abbat/ydcmd.

Установка

Моя инструкция несколько отличается от оригинальной. Для установки клиента выполните следующий код в консоли сервера:

# git clone https://github.com/abbat/ydcmd.git
# cp ydcmd/ydcmd.py /usr/local/vesta/bin/ydcmd

Путь сознательно выбран не таким как в официальной документации, это сделано для того, чтобы в последствии вы могли запускать синхронизацию в Cron от имени администратора (пользователя Admin в панели VestaCP).

Получения «токена» для приложения

Чтобы данное приложение работало с облачным хранилищем Яндекс.Диск необходимо его зарегистрировать по адресу https://oauth.yandex.ru/ и получить так называемый токен.

Для этого перейдите по указанной выше ссылке и выберите следующие разрешения для приложения (название может быть любым):
vestacp-backup-to-yandex-disk_1

После регистрации скопируйте id приложения:
vestacp-backup-to-yandex-disk_2

и перейдите по ссылке:

https://oauth.yandex.ru/authorize?response_type=token&client_id=<id_приложения>

Затем нужно разрешить доступ к данным Яндекс.Диска для вашего приложения:
vestacp-backup-to-yandex-disk_3

После чего сервис перенаправит нас по ссылке вида:

https://oauth.yandex.ru/verification_code?dev=True#access_token=<токен>

И на экране будет выведена последовательность букв и цифр:
vestacp-backup-to-yandex-disk_5

Это и есть требуемый параметр для работы приложения (консольного клиента).

Сохраняем его в файл /root/.ydcmd.cfg, который должен выглядеть примерно так:

[ydcmd]
token = 1234567890

Назначаем ему правильные права доступа:

# chmod 400 /root/.ydcmd.cfg


Проверка резервного копирования на Яндекс.Диск

Выполните в консоли сервера следующую команду:

# /usr/local/vesta/bin/ydcmd put --rsync /home/backup/ disk:/Папка-резервного-копирования

где «Папка-резервного-копирования» — директория на Яндекс.Диске куда будут копироваться файлы.

Внимание!!! Если указанная папка на Яндекс.Диске существует, то все данные в ней пропадут и будут заменены на содержимое директории /home/backup/ вашего сервера.

Настройка резервного копирования по расписанию

Для настройки резервного копирования на Яндекс.Диск по расписанию создайте задание Cron от имени администратора панели VestaCP:
vestacp-backup-to-yandex-disk_4
В моем случае каждый день в 5 часов 55 минут файлы из директории сервера /home/backup будут синхронизированы с папкой backups на Яндекс.Диске.

Некоторые недоразумения

Столкнулся с тем, что у меня на Яндекс.Диске архивов всегда на один меньше чем на сервере. Нет самого старого. То есть если на сервере пять копий, то в диске только четыре.

Благодарности

При написании статьи были использованы следующие источники:

  1. https://github.com/abbat/ydcmd
  2. https://forum.vestacp.com/viewtopic.php?t=13051

 Метки:  , ,

Обсуждение: 3 комментария

  1. Алексей Кулагин:

    Хорошее у вас изложение материала. Респект.
    По поводу Я диска и бекапа. Весту не трогаю, обхожусь без нее.
    Почему вы не используете возможность монтирования Я диска на свой сервер? Зачем все эти танцы с токенами?
    В общем случае я использую очень простой алгоритм: монтирую Я диск -> забрасываю на него бекап -> удаляю старые -> umount Я диск. И все это под непривилегированным пользователем. Используя возможности davfs2

    Ответить
    1. Алексей, ваш способ проще. Но при копировании больших файлов или нестабильности канала davfs копирует медленно, и бывало зависал в самые неожиданные моменты и приходилось перемонтировать заново. Подробнее здесь — https://forum.vestacp.com/viewtopic.php?t=13051

      Ответить
  2. Алексей Кулагин:

    Юрий!

    Еще раз огромнейший вам респект. Но, только поймите правильно: дело не в том, что «за что же не боясь греха, кукушка ….» :)))

    Дело в том, что достаточно часто действительно нужную, полезную инф-цию в инете, находишь с трудом. Очень много копипаста.

    После медитации над вашей статьей, я наконец то увидел, что используете нестандартный консольный клиент Яндекса. ВОТ ЭТО ИМЕННО ТО, что доктор прописал!!!

    «Лишние» телодвижения, как я писал перед этим, по получению токена — ни фига не лишние. Мы Синхронизируем Только То, Что Нам Нужно!!! И это здорово. В стандартном консольном Я клиенте мы должны явно указать исключенные из синхронизации папки.

    Так что: две vds-ки бэкап и продакшен на DO + private network между ними + sshfs + ydcmd put —rsync = спокойный сон :)))

    И еще приятный бонус у меня получился: бэкапы надо отдавать на два Я диска. И как? Очень просто — запускаем ydcmd с опцией —config=»path-to-other-cnf-file». В др. конфиге прописан др. токен.

    Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Нажимая кнопку "Отправить" я даю свое согласие на обработку введенной мной персональной информации в соответствии с Федеральным Законом от 27.07.2006 №152-ФЗ "О персональных данных", на условиях и для целей определенных политикой конфиденциальности.

Технический блог © 2017
SQL - 44 | 0,221 сек. | 9.92 МБ
Политика конфиденциальности