本文へスキップ

ガイド

セルフホストSaaSのバックアップと、リストアが本当に動くことの確かめ方

公開日:· 1分で読めます·

Seed の機能:デプロイ →

他の言語:العربية、Deutsch、English、Español、Français、Português (Brasil)、Русский、简体中文

小さな島のサーバータワーから紫の植物が伸び、水の向こうの別の島では、同じ植物の挿し穂を入れた密閉ガラス瓶の横で、その挿し穂が鉢に植え替えられている。

要点

  • データベース、アップロードされたファイル、サーバーにしかない鍵を、別のプロバイダーのバケットにバックアップします。
  • バックアップを証明するのはリストアだけです。予備のデータベースに戻してみましょう。Seedならコマンド4つです。
  • Seedはresticで毎日pg_dump、ファイル、Webプッシュの鍵を保存し、最後のバックアップが2日前になると知らせます。
  • ポイントインタイムリカバリはないので最大1日分の書き込みを失う可能性があり、保存済みデータの読み直しも自動ではしません。

セルフホストのSaaSをバックアップするには、毎日3つのものを別のプロバイダーのストレージに保存します。データベースのダンプ、ユーザーがアップロードしたファイル、そしてサーバーにしかない鍵です。バックアップは暗号化し、そのパスワードはサーバー以外の場所に置き、実行が失敗したら通知が来るようにします。そのうえで、多くの人が飛ばす作業をします。バックアップを1つ予備のデータベースにリストアし、テーブルがそろっているか確かめることです。それをするまで、手元にあるのは「たぶん大丈夫」が入ったフォルダーにすぎません。

定額のサーバー1台で動かすことがSeedの考え方のすべてで、セルフホストをためらわせるのはデータを失う不安です。そこでこの記事では、Seedに入っているバックアップについて、何を保存するか、リストアをどう練習するか、そして同じくらい率直に、何をしないかを書きます。コマンドはバックアップのガイドとリストアのガイドから取っています。

セルフホストSaaSでは何をバックアップすべき?

gitから作り直せないものすべてです。docs/backups.mdにあるSeedの一覧はこうです。

対象 保存 理由
Postgresのデータベース(pg_dump) する アカウント、グループ、ユーザーが作ったすべてのデータ。
アップロードされたファイル(同梱のGarage) する データブロックと、メタデータの最新2つの毎時コピー。
Webプッシュの鍵(vapid.json) する サーバーにしかなく、失うとプッシュ通知が届かなくなります。
Valkey しない キャッシュなので、自然にまた埋まります。
本番の環境ファイル しない バックアップ自身の鍵が入っています。自分で別の場所に保管を。
別のS3ストレージにあるファイル しない そのストレージ側のバックアップに任せます。

いちばん忘れられがちなのが環境ファイルです。ファイルストアの鍵とバックアップのパスワードが入っているので、もしバックアップに含めれば、バックアップを読める人に両方を渡すことになります。パスワードマネージャーか、git内で暗号化して保管してください。サーバーにだけ置くのは避けます。

バックアップはどこに置く?

同じサーバーには置かず、できれば同じプロバイダーも避けます。壊れたディスクの上のバックアップはバックアップではありませんし、同じアカウント内のバックアップはアカウントが止められれば一緒に消えます。SeedのバックアップはS3互換のバケットならどこにでも書けます。Hetznerへのデプロイの記事ではHetzner Object Storageで費用を計算しています。これはサーバーの外にありますが、別のプロバイダーのバケットなら最初のプロバイダーで起きたトラブルにも耐えられます。

プロバイダー選びより大事な設定が3つあります。

  1. そのバケット専用の鍵。そこでの読み取り、書き込み、削除だけを許し、ほかには何もできないようにします。
  2. バケットのバージョニングかオブジェクトロック(プロバイダーにあれば)。鍵はサーバー上にあるので、これがないとサーバーを乗っ取った人がバックアップまで消せてしまいます。「サーバーを消された」を、会社の終わりではなく、ただの散々な午後で済ませてくれるのがこの設定です。
  3. リポジトリのパスワードをサーバーの外に。これがないとスナップショットは誰にも読めません。攻撃者にも、あなたにもです。

Seedはどうやってバックアップを取る?

COMPOSE_PROFILESにbackupがあると、backupコンテナが起動時に1回、その後は24時間ごとに動きます(infra/backup/backup.sh)。保存先はresticのリポジトリで、resticは各スナップショットを暗号化し、前回から変わった部分だけを転送します。

このスクリプトのいくつかの判断が、本物のバックアップと「それらしく見えるファイル」の違いを生みます。

  • resticが自分でpg_dumpを実行し、pg_dumpが失敗したら何も保存しません。途中で切れたダンプがスナップショットになることはありません。pg_dumpはアプリが読み書きを続けている間も一貫したエクスポートを作り、ほかのユーザーをブロックしません(Postgresのドキュメント)。アプリは止まりません。
  • ダンプはサーバーと同じバージョンのPostgresで取ります。バックアップのイメージはデータベースのイメージの上に作られている(infra/backup/Dockerfile)ので、pg_dumpとpg_restoreがサーバーより古くなることはありません。
  • ダンプは圧縮しません。圧縮はresticが行い、変わっていない部分を見つけられるのは非圧縮のデータだけなので、ほとんど変わらないデータベースの毎日のダンプは小さく収まります。
  • 古いスナップショットは間引きます。直近2日分はすべて残し、その後は1週間は1日1つ、1か月は週1つ、半年は月1つです(resticのforget)。
  • 中断された実行は後片付けをします。再起動やOOM killerでresticのロックが残ることがありますが、毎回の実行はまず古いロックを外し、生きているロックに当たった実行は1時間後にやり直します。

有効にするのは、環境ファイルに backup プロファイルと変数4つを書いてデプロイするだけです。設定するまでプロファイルはオフなので、新しいプロダクトには最初はバックアップがありません。

バックアップがまだ動いているとどうやって分かる?

3月に止まったバックアップは、6月の、それが必要になったその日に見つかるものです。Seedは3つの方法で知らせます。

  • 最後に完了したバックアップが2日より古いと、docker psがバックアップのコンテナをunhealthyと表示します。
  • BackupMissingアラート(infra/configs/alerts.yml)が同じことをntfyに送ります。
  • 管理画面のSystemページは、最後のバックアップが26時間前になると警告し、48時間でエラーを表示します(libs/domain/identity/admin-system.ts)。

原因はログに出ます。パスワードや鍵の誤り、ロック、応答しないリポジトリのどれかです。

リストアが動くことはどう確かめる?

実際にリストアします。サーバー全体ではなく、スナップショット1つを本番の隣の予備データベースに戻すだけで、アプリは動いたままです。Seedでは、サーバー上のアプリのフォルダーで次を実行します(<db>はあなたのDB_NAMEです)。

deno task compose exec db psql -d postgres -c 'CREATE DATABASE "<db>_restore_test"'
deno task compose run --rm backup restore
deno task compose run --rm -e PGDATABASE=<db>_restore_test backup restore <snapshot id>
deno task compose exec db psql -d <db>_restore_test -c '\dt'

2行目はスナップショットを一覧するだけで何も変えません。3行目が指定したスナップショットを読み込みます。テーブルの一覧は本番のデータベースと一致するはずです。最後に予備のデータベースを削除します。数分の作業で、「バックアップはある」が気分ではなく事実になります。

バックアップを有効にしたあとに1回、そして大きな変更のたびにまた行ってください。新しいPostgresのバージョン、新しいバケット、新しいパスワードなどです。

Seedはスクリプト自体もテストしています。deno task test:backupとCIのbackup-restoreステップが、プルリクエストのたびに本物のスクリプトでデータベースをバックアップし、空のデータベースに戻して行を比べます(infra/backup/restore.test.sh)。同じテストは実行を途中で止めて次の実行が成功することを確かめ、1つのリポジトリを共有する2つのプロジェクトが混ざらないことも確かめます。これで証明できるのはスクリプトです。あなたのバケット、鍵、パスワードを証明できるのは、あなた自身の練習だけです。

本番でリストアするには?

落ち着いて、何も上書きせずに行います。コマンドはすべてリストアのガイドにあります。ここではその背後の考え方を書きます。

  1. 壊れたデータベースは脇によけ、上書きしない。アプリを止め、データベースの名前を変え、空のデータベースを作ります。リストアはテーブルのあるデータベースを拒むので、2つの状態が混ざることはありません。
  2. スナップショットは日付で選ぶ。最新が正しいとは限りません。被害のあとに取ったスナップショットには被害も入っています。そのためrestoreには既定値がなく、何かを読み込む前にスナップショットとその時刻を表示します。
  3. 1つのトランザクションで読み込む。途中で失敗したリストアは、半分埋まったデータベースではなく空のデータベースを残します(pg_restore --single-transaction、Postgresのドキュメント)。
  4. キャッシュを再起動してからアプリを起動する。スナップショットより新しいマイグレーションは、通常の起動と同じく適用されます。
  5. ファイルはデータベースと同じ夜のものを戻す。

新しいサーバーでは、リストアが終わるまでバックアップをオフにしておきます。そうしないと新しいサーバーが空のデータベースを毎日同じリポジトリに保存し、7回目の実行のあとから、クリーンアップが古いサーバーのスナップショットを消し始めます。これは自分で発見するより、ここで読んでおいてほしい話です。

Seedのバックアップがしないことは?

  • ポイントインタイムリカバリはありません。ダンプは1日1回なので、障害で最大1日分の書き込みを失う可能性があります。SeedはWALをアーカイブしません。1時間分の注文が消えるだけでも困るプロダクトなら、それは別途必要です。
  • 保存済みデータを自分で読み直しはしません。restic checkはリポジトリの構造を検証し、--read-dataは保存されたすべてのパックを読みます(resticのドキュメント)。ただしスクリプトはどちらも実行しません。手動ならdeno task compose run --rm backup restic check --read-data-subset=10%で実行できます。
  • リストアの練習を代わりにはしてくれません。CIがテストするのはスクリプトで、あなたのバケットではありません。
  • 環境ファイルは保存しません(意図的です)。SSH経由でも書けないので、リポジトリはS3のバケットである必要があります。
  • 有効にするまでオフです。

これはサーバー1台のための誠実な日常レベルの安全性で、銀行レベルではありません。たいていのプロダクトにはこれで足ります。危ないのは失われる1時間よりも、誰も一度もリストアしたことのないバックアップのほうです。

次はあなたの番です

すでにSeedを動かしているなら、今日リストアを練習してください。コマンド4つ、数分です。どこでホストするかをまだ選んでいるなら、Seedをインストールしてローカルで動かすところから始め、Hetznerのサーバー1台にデプロイして、同じ日にバックアップを有効にしましょう。ガイドに分かりにくいところがあれば、issueを開いてください。直します。

次の記事をメールで受け取る

新しい記事が出たときや何かをリリースしたときに、短いメールをお届けします。メールで一度確認するだけで登録でき、購読解除もワンクリックです。

すべての記事