Incident Library

IL-0508 SourceHut · 2023-01-11database

SourceHut 의 주 데이터베이스 서버 remilia.sr.ht 가 하드웨어 고장으로 연결이 끊겨 모든 서비스가 중단됐다

2023년 1월 11일 13:38 UTC 무렵 SourceHut 의 주 데이터베이스 서버 remilia.sr.ht 가 하드웨어 고장으로 연결이 끊겼고, 데이터베이스 연결이 없어지자 모든 서비스가 중단됐다. 원격으로는 서버에 닿을 수 없어 사람이 데이터센터에 가야 했다. 데이터센터 직원은 공식 업무 시간 전이라 전화를 받지 않았고, 운영팀은 데이터센터 근처의 SourceHut 비상 연락 담당자를 보냈다. 그 담당자는 데이터센터까지 한 시간 거리에 있었다.

기다리는 동안 운영팀은 서버를 되살릴 수 없으면 디스크를 다른 호스트로 옮겨 데이터베이스 서버를 그대로 띄우기로 했다. 그 호스트로는 빌드 워커 cirno1.sr.ht 를 골랐다. cirno1 은 cirno2.sr.ht 와 중복이라 빼도 가용성에 영향이 없었다. 데이터센터 직원이 서버 전원을 껐다 켰지만 살아나지 않았고, 운영팀은 이 결과로 디스크는 문제가 아니라고 봤다. 15:39 에 도착한 비상 연락 담당자가 진단을 확인하고 디스크를 cirno1.sr.ht 와 바꿔 끼웠다. remilia 는 cirno1 의 섀시에서 옛 상태 그대로 떴다. 16:04 에 Prometheus 가 remilia 의 지표를 다시 수집했고 16:09 에 모든 서비스가 돌아왔다. cirno1 이 빠지면서 builds.sr.ht 의 빌드 용량은 줄었다.

오프사이트 데이터베이스 백업은 동작하고 있었지만 장애 조치용 데이터베이스 호스트로 쓸 수는 없었다. SourceHut 직원 세 명 가운데 유효한 여권이 있는 사람은 한 명뿐이어서, 미국 현장에서 바로 큰 작업을 해야 했다면 그 한 명만 갈 수 있었다. 운영팀은 처음에 remilia.sr.ht 의 디스크 구성을 헷갈리기도 했다.

심각도
–
영향 범위
All SourceHut services were down; afterwards builds.sr.ht ran with reduced build capacity
영향 사용자
–
지역
US datacenter
감지까지
2m
복구까지
2h 31m

증상

13:40 UTC 무렵 SourceHut 서비스 대부분을 사용할 수 없다는 경보가 한꺼번에 울렸다. 그 가운데 하나는 주 데이터베이스 서버인 물리 호스트 remilia.sr.ht 를 사용할 수 없다는 경보였다.

13:38 에 Prometheus 가 remilia 의 지표를 수집하지 못하기 시작했다. remilia 에는 원격으로 닿을 방법이 전혀 없었다.

데이터베이스 연결이 끊기자 모든 서비스가 중단됐다. 운영팀은 메일 전달 파이프라인이 넘치지 않도록 Postfix 를 내렸고, 쏟아지는 경보를 끄려고 alertmanager 를 껐다.

증상 서비스 중단

원인

원인 하드웨어 고장

구성 요소 데이터베이스
기여 요인 단일 장애점디버그 접근 제한
촉발
주 데이터베이스 서버 remilia.sr.ht 의 하드웨어가 고장 났다.

감지

13:38 에 Prometheus 가 remilia 의 지표 수집에 실패했고, 13:40 무렵 대부분의 서비스와 remilia.sr.ht 를 사용할 수 없다는 경보가 울렸다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.