Руководства
Бэкапы SaaS на своём сервере и как проверить, что восстановление работает
Опубликовано · 6 мин чтения· Anton Shubin
Другие языки: العربية, Deutsch, English, Español, Français, 日本語, Português (Brasil) и 简体中文

Коротко
- Сохраняйте базу, загруженные файлы и ключи, которые есть только на сервере, в бакет у другого провайдера.
- Только восстановление доказывает, что бэкап рабочий. Восстановите копию в запасную базу; в Seed это четыре команды.
- Seed каждый день сохраняет pg_dump, файлы и ключи веб-пушей через restic и предупреждает, если последнему бэкапу два дня.
- Восстановления на момент времени нет, поэтому можно потерять до суток записей, и сам он сохранённые данные не перепроверяет.
Чтобы сделать бэкап SaaS на своём сервере, каждый день сохраняйте в хранилище у другого провайдера три вещи: дамп базы данных, файлы, которые загрузили люди, и каждый ключ, который есть только на сервере. Шифруйте бэкап, храните его пароль не на сервере и настройте оповещение о сбое. А потом сделайте то, что пропускает большинство: восстановите один бэкап в запасную базу и проверьте, что таблицы на месте. Пока вы этого не сделали, у вас не бэкап, а папка с надеждой.
Один сервер с фиксированной ценой — вся идея Seed, и останавливает людей обычно страх потерять данные. Поэтому здесь бэкап, который есть в Seed: что он сохраняет, как отрепетировать восстановление и, так же прямо, чего он не делает. Команды взяты из руководства по бэкапам и руководства по восстановлению.
Что нужно бэкапить в SaaS на своём сервере?
Всё, что нельзя собрать заново из git. Вот список Seed из docs/backups.md:
| Что | В бэкапе? | Зачем |
|---|---|---|
База Postgres, как pg_dump |
Да | Аккаунты, группы и всё, что создали люди. |
| Загруженные файлы (встроенный Garage) | Да | Блоки данных и две свежие ежечасные копии его метаданных. |
Ключи веб-пушей, vapid.json |
Да | Они есть только на сервере; без них пуши перестают приходить. |
| Valkey | Нет | Это кэш, он заполнится сам. |
| Файл окружения продакшена | Нет | В нём ключи самого бэкапа. Храните свою копию в другом месте. |
| Файлы в другом S3-хранилище | Нет | Их покрывают бэкапы того хранилища. |
Про файл окружения забывают чаще всего. В нём ключ файлового хранилища и пароль бэкапа, так что бэкап с этим файлом отдал бы оба тому, кто его прочитает. Держите его в менеджере паролей или зашифрованным в git, но не только на сервере.
Где хранить бэкапы?
Не на том же сервере и лучше не у того же провайдера. Бэкап на умершем диске — не бэкап, а бэкап в том же аккаунте пропадёт вместе с заблокированным аккаунтом. Бэкап Seed пишет в любой S3-совместимый бакет. В посте про деплой для него посчитан Hetzner Object Storage: он вне сервера, а бакет у второго провайдера переживёт ещё и проблемы с первым.
Три настройки важнее выбора провайдера:
- Ключ только для этого бакета: читать, писать и удалять там и больше нигде.
- Версионирование или object lock на бакете, если провайдер их даёт. Ключ лежит на сервере, и без этого тот, кто захватил сервер, удалит и бэкапы. Именно эта настройка превращает «мне стёрли сервер» в плохой вечер, а не в закрытую компанию.
- Пароль репозитория не на сервере. Без него ни один снимок не прочитать — ни взломщику, ни вам.
Как Seed делает бэкап?
Если в COMPOSE_PROFILES есть backup, контейнер backup запускается один раз при старте и
потом каждые 24 часа
(infra/backup/backup.sh). Он
сохраняет данные в репозиторий restic, который шифрует каждый снимок и
передаёт только то, что изменилось с прошлого раза.
Несколько решений в этом скрипте отличают бэкап от файла, который только похож на бэкап:
pg_dumpзапускает сам restic и ничего не сохраняет, еслиpg_dumpупал, поэтому оборванный дамп никогда не станет снимком.pg_dumpделает согласованную выгрузку, пока приложение читает и пишет, и не блокирует других пользователей (документация Postgres), так что приложение не останавливается.- Дамп делает версия Postgres самого сервера. Образ бэкапа собран на образе базы
(infra/backup/Dockerfile),
поэтому
pg_dumpиpg_restoreне отстают от сервера. - Дамп не сжимается. Сжимает restic, а неизменившиеся части он находит только в несжатых данных, поэтому ежедневный дамп почти не меняющейся базы занимает мало места.
- Старые снимки прореживаются. Все снимки за последние два дня остаются, дальше один в день на
неделю, один в неделю на месяц и один в месяц на полгода
(
forgetв restic). - Убитый запуск убирает за собой. Перезагрузка или OOM killer могут оставить блокировку restic; каждый запуск сначала снимает устаревшие блокировки, а запуск, наткнувшийся на живую, повторяет попытку через час.
Включить бэкап — это профиль backup и четыре переменные в файле окружения, затем деплой. Пока вы его не настроили,
профиль выключен, так что у нового продукта бэкапа нет.
Как узнать, что бэкап всё ещё работает?
Бэкап, который сломался в марте, находят в июне, в тот день, когда он нужен. Seed сообщает об этом тремя способами:
docker psпоказывает контейнер бэкапа как unhealthy, если последний полный бэкап старше двух дней.- Алерт
BackupMissing(infra/configs/alerts.yml) отправляет то же самое в ntfy. - Страница System в админке предупреждает, когда последнему бэкапу 26 часов, и показывает ошибку после 48 (libs/domain/identity/admin-system.ts).
В логе написана причина: неверный пароль или ключ, блокировка или репозиторий, который не отвечает.
Как проверить, что восстановление работает?
Восстановить. Не весь сервер, а один снимок в запасную базу рядом с рабочей, пока приложение
работает. В Seed это на сервере, в папке приложения (<db> — ваш DB_NAME):
deno task compose exec db psql -d postgres -c 'CREATE DATABASE "<db>_restore_test"'
deno task compose run --rm backup restore
deno task compose run --rm -e PGDATABASE=<db>_restore_test backup restore <snapshot id>
deno task compose exec db psql -d <db>_restore_test -c '\dt'
Вторая строка показывает снимки и ничего не меняет, третья загружает выбранный. Список таблиц должен совпасть с рабочей базой. Потом удалите запасную базу. Это несколько минут, и после них «у нас есть бэкапы» — факт, а не ощущение.
Сделайте это один раз после включения бэкапа и ещё раз после любой крупной перемены: новая версия Postgres, новый бакет, новый пароль.
Сам скрипт Seed тоже проверяет. deno task test:backup и шаг backup-restore в CI на каждом
пул-реквесте делают бэкап базы настоящим скриптом, восстанавливают его в пустую базу и сравнивают
строки (infra/backup/restore.test.sh).
Тот же тест убивает запуск на полпути и проверяет, что следующий проходит, и держит раздельно два
проекта в одном репозитории. Это доказывает скрипт; ваш бакет, ключ и пароль докажет только ваша
собственная репетиция.
Как восстанавливать по-настоящему?
Не спеша и ничего не перезаписывая. Все команды — в руководстве по восстановлению; вот идеи за ними:
- Отложите повреждённую базу, не пишите поверх. Остановите приложение, переименуйте базу и создайте пустую. Восстановление откажется от базы с таблицами, чтобы два состояния не смешались.
- Выбирайте снимок по дате. Самый свежий не всегда верный: снимок после поломки содержит
поломку. Поэтому у
restoreнет значения по умолчанию, и он называет снимок и его время, прежде чем что-то загрузить. - Загружайте в одной транзакции. Восстановление, упавшее на середине, оставляет пустую базу, а
не наполовину заполненную (
pg_restore --single-transaction, документация Postgres). - Перезапустите кэш, потом приложение. Миграции новее снимка применятся, как при любом старте.
- Файлы берите из той же ночи, что и базу.
На новом сервере держите бэкап выключенным, пока не закончите восстановление. Иначе новый сервер каждый день сохраняет свою пустую базу в тот же репозиторий, и через семь запусков очистка начинает удалять снимки старого сервера. Лучше вы прочитаете это здесь, чем узнаете на практике.
Чего бэкап Seed не делает?
- Нет восстановления на момент времени. Это один дамп в сутки, так что сбой может стоить до суток записей. Seed не архивирует журнал WAL; если час потерянных заказов для вашего продукта — слишком много, это нужно добавить сверху.
- Он сам не перечитывает сохранённые данные.
restic checkпроверяет структуру репозитория, а--read-dataчитает все сохранённые паки (документация restic), но скрипт не запускает ни то, ни другое. Можно запустить вручную:deno task compose run --rm backup restic check --read-data-subset=10%. - Он не репетирует восстановление за вас. CI проверяет скрипт, а не ваш бакет.
- Он не сохраняет файл окружения, нарочно, и не умеет писать по SSH: репозиторий должен быть S3-бакетом.
- Он выключен, пока вы его не включите.
Это честная повседневная надёжность для одного сервера, а не банковская. Большинству продуктов этого хватает: опасная дыра редко в потерянном часе, обычно она в бэкапе, который никто ни разу не восстанавливал.
Ваш ход
Если Seed у вас уже работает, отрепетируйте восстановление сегодня: четыре команды, несколько минут. Если вы только выбираете, где хостить, начните с того, как установить Seed и запустить его локально, потом разверните его на одном сервере Hetzner и включите бэкап в тот же вечер. Что-то в руководствах непонятно? Откройте issue, и я поправлю.


