사례1건

1건 중 1~1번째

1. IL-0485 계획된 OS 업그레이드 작업이 운영 중인 데이터베이스 서버를 재설치해 Dropbox 서비스가 멈췄다

   Dropbox2014

   증상

   2014-01-10 금요일 오후 5시 30분 PT에 시작한 계획된 유지보수 중에 Dropbox 서비스가 내려갔다. 약 3시간 뒤 서비스는 다시 올라왔지만, 핵심 서비스가 완전히 돌아온 것은 일요일 오후 4시 40분 PT였다.

   서비스 중단

   촉발

   일부 서버의 OS를 올리는 계획된 유지보수에서 업그레이드 스크립트의 잘 드러나지 않는 버그 때문에 사용 중인 데이터가 있는 서버 몇 대에 재설치 명령이 내려졌다.

   원인

   소프트웨어 결함

   구성 요소

   데이터베이스데이터베이스 백업과 스냅숏

   기여 요인

   파괴적 변경 보호 장치 부재

   조치

   • 서비스를 빨리 되살리려고 영향을 받은 데이터베이스를 백업에서 복원했다.

   후속 조치

   • 서버가 들어온 명령을 실행하기 전에 자기 상태를 로컬에서 확인하는 검사 단계를 더했다. 중요한 프로세스를 돌리고 있다고 스스로 확인한 서버는 파괴적일 수 있는 작업을 거부한다.
   • 바이너리 로그 재생을 병렬로 처리하는 도구를 만들어 큰 MySQL 백업에서 더 빨리 복원한다.
   • 이 바이너리 로그 병렬 재생 도구를 오픈 소스로 공개할 계획이다.

   교훈

   서버 상태를 원격 스크립트로만 확인하면 스크립트의 버그 하나로 운영 서버에 파괴적인 작업이 실행될 수 있으므로, 서버 스스로도 자기 상태를 확인해야 한다. 복제본을 여러 대 두어도 복제본까지 잃으면 백업에서 복원하는 길뿐이다. 큰 데이터에서는 MySQL 표준 복원 도구가 느리므로 복구를 빠르게 할 수단이 필요하다.

   사례 보기

원인별1