---
name: Arcana DR plan after 2026-04-07 incident
description: Disaster recovery plan - backup schedule, mutual monitoring, rebuild runbook for arcana/shadow
type: project
---

2026-04-07 arcana OS全損からの復旧後、DR体制を構築。

**Why:** OS再インストールで全データ消失。shadowにDBバックアップがあったため復旧できたが、RPO約24時間・RTO約1時間だった。

**How to apply:**

## バックアップ体制
- shadow→arcana DB: 6時間ごと (01,07,13,19 UTC)、7日保持、pg_restore --list検証付き
- arcanaローカルDB: 毎日03:00 UTC、3日保持（shadow全損対策）
- 構成バックアップ: 毎日02:00 UTC（cron, PM2, .env）→ shadow ~/backups/config/、14日保持
- バックアップ検証: backup_verify.sh → Discordアラート

## 監視
- arcana→shadow: tailscale ping 10分ごと → Discordアラート
- shadow→arcana: tailscale ping 10分ごと → Discordアラート
- cross_monitor.py: サービスヘルスチェック（既存）

## 復旧手順
1. GreenCloudでOS再インストール
2. SSH鍵設置（ssh.socketは触らない！ssh.serviceで直接運用）
3. rebuild_arcana.sh 実行（未作成→要作成）
4. shadow ~/backups/config/ から .env + PM2構成を復元
5. shadow ~/backups/db/ から最新dumpをpg_restore

## スクリプト配置
- shadow: ~/workspace/tools/ops/infra/backup_verify.sh
- shadow: ~/workspace/tools/ops/infra/config_backup.sh
- TODO: rebuild_arcana.sh をGitHubに格納

## SLO目標
- RPO: 6時間（改善前: 24時間）
- RTO: 15分（改善前: 1時間+）