Incident Library

IL-0325 DigitalOcean · 2017-04-05database

주 데이터베이스가 지워져 DigitalOcean 제어판과 API 가 4시간 56분 동안 멈췄다

2017-04-05 10:24 EDT 에 DigitalOcean 은 공개 서비스가 동작하지 않는다는 알림을 받았고, 3분 안에 주 데이터베이스가 지워진 것을 알았다. 원인은 엔지니어의 설정 오류였다. 자동 테스트를 돌리는 프로세스가 운영 환경 자격 증명을 쓰도록 잘못 설정돼 있었다. 제어판과 API 는 4시간 56분 동안 쓸 수 없었다. 그동안 돌고 있던 Droplet 은 계속 동작했지만 새 Droplet 이나 다른 자원을 만들거나 관리할 수 없었다.

10:34 에 시간 지연 데이터베이스 레플리카 하나에서 복구를 시작했다. 11:53 에 그 레플리카의 백업이 끝났다. 12:34 에 백업을 마스터로 복사해 복원을 시작했고, 13:31 에 마스터 복구를 마쳤다. 레플리카로 백업을 복사하는 일은 그 뒤에도 이어졌고 15:20 에 모든 시스템이 복원됐다. 잃은 데이터는 없었다. 장애가 길어진 것은 레플리카 사이에 데이터를 복사해 활성 서버에 복원하는 데 걸린 시간 때문이었다. 그 시간은 주로 네트워크 속도가 좌우했다.

심각도
–
영향 범위
Control panel and API unavailable; running Droplets continued to function but no Droplets or other resources could be created or managed
영향 사용자
–
지역
–
감지까지
–
복구까지
4h 56m

증상

2017-04-05 10:24 EDT 에 공개 서비스가 동작하지 않는다는 알림이 들어왔다. 제어판과 API 를 쓸 수 없었다. 돌고 있던 Droplet 은 계속 동작했지만, 새 Droplet 이나 다른 자원을 만들거나 관리할 수는 없었다.

첫 알림 3분 뒤인 10:27 에 마스터에서 운영 데이터베이스가 지워진 것을 확인했다.

시간 지연 레플리카에서 데이터를 백업해 마스터와 레플리카로 복사하고 복원하는 데 4시간 넘게 걸렸다. 데이터를 데이터베이스에 다시 싣는 데 걸린 시간은 네트워크 속도가 좌우했다.

증상 서비스 중단

원인

원인 설정 변경

구성 요소 데이터베이스데이터베이스 복제데이터베이스 백업과 스냅숏
기여 요인 파괴적 변경 보호 장치 부재
촉발
자동 테스트를 돌리는 프로세스가 운영 환경 자격 증명을 쓰도록 잘못 설정돼 있었고, 그 결과 주 데이터베이스가 지워졌다.

감지

10:24 EDT 에 공개 서비스가 동작하지 않는다는 알림이 들어왔고, 3분 뒤 마스터의 운영 데이터베이스가 지워진 것을 확인했다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스, 데이터베이스 복제, 데이터베이스 백업과 스냅숏. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.