IL-0046 UK Ministry of Justice · 2024-04-15kubernetesawsobservability

계획된 재시작 뒤 Prometheus 가 WAL 을 다 읽기 전에 startupProbe 에 걸려 재시작을 반복했고 지표가 빠졌다

영국 법무부 Cloud Platform 팀의 Prometheus 장애다. 2024-04-15 에 계획된 변경으로 Prometheus 를 재시작했을 때 WAL 수가 평소보다 많아 다시 읽기에 오래 걸렸다. 기본 15분인 startupProbe 허용 시간으로는 다시 읽기를 끝낼 수 없었고, startupProbe 가 실패하면서 파드가 다시 읽기 도중에 재시작했다. 재시작이 여러 번 되풀이되는 동안 Prometheus 를 쓸 수 없었고 플랫폼의 모니터링과 지표가 비었다.

12:32 에 처음 감지했고 13:00 에 사용자들에게 Prometheus 문제를 알렸으며 14:43 에 장애를 선언했다. 계획된 변경을 되돌렸지만 도움이 되지 않았고, 13:46 에 로그에서 startupProbe 실패 이벤트를 찾았다. 15:21 에 startupProbe 허용 시간을 30분으로 늘리기로 했고, 15:53 에 적용하자 WAL 다시 읽기가 끝나 Prometheus 가 다시 정상으로 돌아왔다. 복구에 3시간 21분이 걸렸다. 16:00 에 사용자들에게 Prometheus 상태를 알렸다. 팀은 2024-04-18 16:13 에 WAL 다시 읽기가 길어진 이유를 찾아 기록하고 장애를 종결했다.

심각도: –
영향 범위: Prometheus unavailable; the Cloud Platform lost monitoring and metrics for the period
영향 사용자: –
지역: –
감지까지: –
복구까지: 3h21m

증상

2024-04-15 12:32 에 계획된 Prometheus 변경을 적용한 뒤 Prometheus 를 쓸 수 없게 되었다. 팀은 prometheus 파드가 여러 번 재시작한 것을 보았다. 그동안 Cloud Platform 에는 모니터링이 없었고 지표가 빠졌다.

12:52 에 팀은 WAL 을 다시 읽는 도중에 재시작이 일어나 다시 읽기가 끝나지 못한다는 것을 알아냈다. WAL 은 Prometheus 가 디스크에 쓰는 선행 기록 로그이고, Prometheus 는 시작할 때 이것을 다시 읽는다. 12:57 에 계획된 변경을 되돌려 원인 후보에서 빼려 했지만 소용없었다. 13:46 에 로그를 살펴 startupProbe 실패 이벤트를 확인했다.

증상 모니터링 중단 프로브 실패