사례1건

1건 중 1~1번째

1. IL-0508 SourceHut 의 주 데이터베이스 서버 remilia.sr.ht 가 하드웨어 고장으로 연결이 끊겨 모든 서비스가 중단됐다

   SourceHut2023

   증상

   13:40 UTC 무렵 SourceHut 서비스 대부분을 사용할 수 없다는 경보가 한꺼번에 울렸다. 그 가운데 하나는 주 데이터베이스 서버인 물리 호스트 remilia.sr.ht 를 사용할 수 없다는 경보였다.

   서비스 중단

   촉발

   주 데이터베이스 서버 remilia.sr.ht 의 하드웨어가 고장 났다.

   원인

   하드웨어 고장

   구성 요소

   데이터베이스

   기여 요인

   단일 장애점디버그 접근 제한

   감지

   13:38 에 Prometheus 가 remilia 의 지표 수집에 실패했고, 13:40 무렵 대부분의 서비스와 remilia.sr.ht 를 사용할 수 없다는 경보가 울렸다.

   조치

   • 데이터센터 직원에게 연락이 닿지 않아 데이터센터 근처의 비상 연락 담당자를 불렀고, 담당자가 데이터센터로 출발했다.
   • 현장에 도착한 비상 연락 담당자가 데이터센터 직원의 진단을 확인한 뒤 디스크를 cirno1.sr.ht 와 바꿔 끼우고 서버를 띄웠다.

   후속 조치

   • 오프사이트 데이터베이스 백업이 장애 조치용 데이터베이스 호스트로도 쓰일 수 있게 고친다. 이 일은 이미 끝났다.
   • EU 이전 작업 전체의 우선순위를 다시 높인다.
   • 새 데이터베이스 장애 조치 구성을 만든다.
   • 빌드 용량을 메우려고 EU 에 새 빌드 워커를 둔다.
   • 앞으로를 대비해 하드웨어 목록을 더 꼼꼼히 기록한다.

   사례 보기

원인별1