사례8건

8건 중 8~8번째

1. IL-0320 주 MySQL 서버의 디스크가 가득 차 메일 발송, API, 웹 화면이 지연됐다

   Postmark2011

   증상

   오전 8시 15분 EDT 무렵 주 MySQL 서버의 디스크 공간이 바닥나 메일 발송, API, 웹 화면이 지연됐다. 디스크 공간 알림을 알아챘을 때 MySQL 은 이미 제대로 동작하지 못하고 있었다.

   노드 디스크 가득 참쓰기 거부장애 조치 실패

   원인

   용량 한계

   구성 요소

   데이터베이스데이터베이스 장애 조치 관리자

   기여 요인

   –

   감지

   서버마다 디스크 공간을 감시해 알리는 시스템이 있었다. 이번에는 공간이 평소보다 훨씬 빨리 차서, 알림을 알아챘을 때 MySQL 은 이미 제대로 동작하지 못하고 있었다.

   조치

   • 로그를 지워 디스크 공간을 확보하려 했지만 쉽게 되지 않았다.
   • 약 30분 뒤 두 번째 서버로 직접 장애 조치했고, 그 뒤 서비스가 정상으로 돌아왔다.
   • 장애 조치 뒤 실패한 작업을 복구했다.
   • 데이터베이스를 쓸 수 없는 동안 각 서버가 메일을 로컬 큐에 쌓아 두었다가 복구 뒤 보냈으므로 잃어버린 메일은 없었다.

   후속 조치

   • 가용성과 성능에 초점을 맞춰 클러스터를 업그레이드한다.
   • 문제를 더 일찍 잡도록 알림을 조금 더 민감하게 바꾼다.

   교훈

   돌아보면 처음부터 바로 두 번째 서버로 장애 조치했어야 했다. 팀은 복제가 정상인지 먼저 확인하려다가 약 30분을 썼다.

   사례 보기

원인별2