사례1건

1건 중 1~1번째

1. IL-0325 주 데이터베이스가 지워져 DigitalOcean 제어판과 API 가 4시간 56분 동안 멈췄다

   DigitalOcean2017

   증상

   2017-04-05 10:24 EDT 에 공개 서비스가 동작하지 않는다는 알림이 들어왔다. 제어판과 API 를 쓸 수 없었다. 돌고 있던 Droplet 은 계속 동작했지만, 새 Droplet 이나 다른 자원을 만들거나 관리할 수는 없었다.

   서비스 중단

   촉발

   자동 테스트를 돌리는 프로세스가 운영 환경 자격 증명을 쓰도록 잘못 설정돼 있었고, 그 결과 주 데이터베이스가 지워졌다.

   원인

   설정 변경

   구성 요소

   데이터베이스데이터베이스 복제데이터베이스 백업과 스냅숏

   기여 요인

   파괴적 변경 보호 장치 부재

   감지

   10:24 EDT 에 공개 서비스가 동작하지 않는다는 알림이 들어왔고, 3분 뒤 마스터의 운영 데이터베이스가 지워진 것을 확인했다.

   조치

   • 10:34 EDT 에 시간 지연 레플리카에서 복구를 시작했다.
   • 11:53 에 시간 지연 레플리카의 백업을 마쳤다.
   • 12:34 에 백업을 마스터로 복사하고 복원을 시작했다.
   • 13:31 에 마스터 복구를 마쳤고 레플리카로 백업을 복사하는 일을 이어 갔다. 15:20 에 모든 시스템이 복원됐다.

   후속 조치

   • 같은 일이 다시 없도록 특정 작업에서 주 시스템에 접근할 수 있는 권한을 크게 줄인다.
   • 데이터베이스 서버 사이의 네트워크 연결을 업그레이드한다.
   • 복구 속도를 높이도록 하드웨어를 바꾼다.
   • 개발자 실수를 막는 안전장치를 더 검토한다.
   • 데이터 복구 절차를 개선한다.
   • 고객에게 영향을 주는 장애가 날 때 실시간 정보를 더 잘 전할 방법을 찾는다.

   사례 보기

원인별1