Incident Console
상태기계 · 런북 · RCA · L4 에스컬레이션을 한 화면에서 조율합니다.
Active
2 건
P3
1
P4
1
Active
Resolved
All
P3
RESTRICTED
런북: RBK-Foreign-USDT-Latency v2.1
다음 단계 ·
상태기계 · Incident State Machine
NORMAL → RESTRICTED → HOLD → PAUSE → RECOVERY
NORMAL
08:00 → 11:47
RESTRICTED
11:48 → now
HOLD
pending
PAUSE
—
RECOVERY
—
상태 전이마다 N-of-M 승인(보안·재무·준법)이 필요하며, 모든 전이는 Evidence Hub에 해시 앵커링됩니다.
런북 실행 · RBK-Foreign-USDT-Latency
v2.1 · 3/5 단계 완료
1. 이상 감지 · 알림 확산
11:48:02
2. Watch 모드 · USDT/Tron 스로틀
11:48:18
3. Fallback rail 예열 · USDC/CCTP
11:49:03
4. 5분 관찰 · 자동 복구 or HOLD 결정
진행 중
5. HOLD 전이 + L4 에스컬
대기
Circuit Breaker · 수동 제어
레일별 3개 · Chinese Wall 격리
USDT / Tron
P95 28s · 스로틀 중
USDC / CCTP
P95 4.2s · 정상 · armed
RLUSD / XRPL
P95 2.1s · 정상 · armed
Breaker 조작은 WORM에 감사 로그로 불변 저장됩니다.
Incident Timeline
Canonical Event 기반 · 자동 수집
11:48:02
incident.detected
USDT/Tron P95 지연 임계 초과 · 28s (>20s)
11:48:08
alert.fired
PagerDuty · Slack #incidents · Opsgenie
11:48:18
state.transition
NORMAL → RESTRICTED · 자동 전이 · runbook v2.1 시작
11:49:03
route.prewarm
USDC/CCTP fallback rail 용량 150% 예약
11:50:12
probe.result
Tron TRC-20 probe latency 24s (개선 미흡)
11:51:34
approval.requested
HOLD 전이 승인 요청 · 3-of-5 · 만료 12:06
RCA · Root Cause Analysis 드래프트
자동 요약 초안 · 운영자 보정 필요