사례8건

8건 중 7~8번째

1. IL-0319 mysql2 를 다시 적재하려고 데이터베이스를 지우는 동안 mysql1 의 데이터베이스도 함께 지워졌다

   Oregon State University Open Source Lab2015

   증상

   복제 오류를 고치려고 mysql2 의 데이터베이스를 하나씩 지우던 중, 몇 분 뒤 mysql1 에서도 데이터베이스가 지워지고 있는 것을 알아챘다. 지워진 데이터베이스들은 복원될 때까지 쓸 수 없었다.

   데이터 유실서비스 중단복제 지연

   촉발

   7월 30일 오후 4시 PDT 에 팀은 복제 오류를 고치려고 mysql2 를 다시 적재하기로 했다. 슬레이브 복제를 멈춘 뒤 mysql2 의 데이터베이스를 하나 지울 때마다 잠깐씩 쉬면서 지웠다.

   원인

   운영 실수

   구성 요소

   데이터베이스데이터베이스 복제데이터베이스 백업과 스냅숏

   기여 요인

   미검증 가정미검증 백업

   감지

   데이터베이스를 지우는 스크립트가 하나를 지울 때마다 짧게 쉬었기 때문에, 시작하고 몇 분 뒤 mysql1 에서도 데이터베이스가 지워지고 있는 것을 알아챘다.

   조치

   • mysql1 에서도 데이터베이스가 지워지는 것을 보고 스크립트를 멈췄다.
   • 곧바로 지워진 데이터베이스의 복원을 시작했다.
   • 인덱스와 외래 키 문제로 복원이 실패한 데이터베이스는 약 200GB 백업 파일에서 따로 꺼내 복원했고, 아직 복원하지 못한 나머지 데이터베이스도 다시 꺼내 복원했다.
   • 백업은 mysql1 보다 뒤처진 mysql2 에서 뜬 것이어서, 17일부터 30일까지의 바이너리 로그로 대부분의 데이터를 되살렸다. 15일과 17일 사이의 데이터 일부는 되살리지 못했다.

   후속 조치

   • 처음 문제였던 복제 오류를 줄이려고 행 기반 복제를 포함해 더 나은 복제 방식을 검토한다.
   • 바이너리 로그를 별도 서버에 백업으로 보관한다.
   • 전체 복원이 훨씬 빨라지도록 Percona XtraBackup 으로 백업한다.
   • 논리 백업 속도를 높이려고 mysql-zrm 대신 mydumper 를 쓴다.
   • 복잡한 시스템의 문서와 교육을 손본다.
   • 백업 절차의 하나로 예비 서버에서 전체 복원을 정기적으로 시험한다.
   • 복원에 걸리는 예상 시간을 더 정확하게 잡는다.
   • 호스팅하는 데이터베이스를 정기적으로 점검한다. 시험용 데이터베이스와 100GB 넘게 불어난 데이터베이스 여러 개가 이번 복원을 크게 늦췄다.
   • 더 크고 성능이 좋은 MySQL 클러스터로 옮긴다. 이 이전은 장애 전부터 계획돼 있었다.
   • 장애와 유지보수, 자원 사용량과 경고 신호를 대시보드로 커뮤니티에 더 잘 알리는 정책과 수단을 만든다.
   • 핵심 서비스의 용량 한계를 정하고 감시한다.
   • 핵심 서비스에 이중화와 복원 절차를 갖추고 직원 훈련을 한다.
   • 핵심 서비스를 더 많이 Chef 로 옮긴다.
   • 문서, 정책, 성능 지표를 주기적으로 검토한다.
   • 커뮤니티의 전문 지식으로 연구소의 역량을 보완할 더 나은 방법을 찾는다.
   • 가장 낡은 인프라를 교체하고 가장 심한 기술 부채를 해소할 기금을 모은다.

   교훈

   Open Source Lab 은 이번 장애에서 MySQL 클러스터를 운영하는 방식과 연구소 전체가 자원을 계획하고 관리하는 방식 모두에서 교훈을 얻었다고 적었다. 디스크 공간을 아끼려고 백업을 강하게 압축한 선택은 전체 복원이 드물었던 그동안에는 괜찮았지만 이번 복원을 크게 늦췄다. 더 많은 프로젝트를 받으려고 자원을 빠듯하게 나눠 써 왔고, 그 대가로 백업을 압축하고 바라던 것보다 이중화를 덜 갖췄다. 장애가 길었던 것과 진행 상황을 알리지 못한 것은 받아들일 수 없는 일이었다고 밝혔다.

   사례 보기
2. IL-0538 사쿠라 클라우드 스토리지의 일괄 삭제 작업이 고객이 쓰던 디스크 53개를 지웠고 되살리지 못했다

   Sakura Internet2012

   증상

   2012년 1월 5일 긴급 점검에서 스토리지의 불필요한 파일 시스템을 한꺼번에 지운 뒤, 고객이 사용 중이던 사쿠라 클라우드 디스크 53개가 함께 지워졌다. 이 디스크들은 백업에서도 되살릴 수 없었다.

   데이터 유실

   촉발

   스토리지 부하가 너무 높아 통상 절차로는 삭제가 실행되지 않자, 이 점검만을 위해 배치 명령을 새로 만들어 불필요한 파일 시스템을 한꺼번에 지웠다. 리뷰와 테스트를 충분히 거치지 않은 이 명령이 예비로 미리 만들어 둔 파일 시스템을 생성에 실패한 디스크로 잘못 분류했다.

   원인

   운영 실수

   구성 요소

   클라우드 블록 스토리지데이터베이스 백업과 스냅숏

   기여 요인

   리뷰 누락미검증 백업

   후속 조치

   • 불필요한 파일 시스템을 지우는 절차를 단순하게 바꾼다.
   • 리뷰와 테스트를 충분히 거치지 않은 스크립트는 실행하지 않는다는 원칙을 철저히 지킨다.

   사례 보기

원인별4