IL-0016 UK Ministry of Justice · 2023-07-25kubernetesawsobservability

네임스페이스와 규칙이 늘어 live 클러스터의 Prometheus 가 메모리 부족으로 OOMKilled 되며 플랫폼 모니터링이 끊겼다

영국 법무부 Cloud Platform 의 live 클러스터에서 Prometheus 가 내려가 플랫폼 모니터링이 한동안 끊겼다. 네임스페이스와 Prometheus 규칙이 늘면서 Prometheus 서버가 쓰는 메모리가 노드 인스턴스 크기를 넘었다. 파드는 Exit code 137 로 종료됐고, 노드는 Not Ready 가 됐다.

팀은 노드를 드레인해 Prometheus 를 다른 모니터링 노드로 옮겼지만 재시작이 이어졌다. 노드 메모리가 89% 까지 오른 것을 보고 노드를 CPU 와 메모리가 두 배인 r6i.4xlarge 로 바꿨다. 그래도 파드가 OOMKilled 로 종료되자 메모리 limit 을 100Gi 로 올렸고, 16:18 컨테이너 limit 을 CPU 12코어, 메모리 110Gi 로 맞춰 복구했다. 보고서에 따르면 복구까지 1시간 50분이 걸렸다.

심각도: –
영향 범위: platform monitoring unavailable
영향 사용자: –
지역: –
감지까지: –
복구까지: 1h 50m

증상

2023-07-25 14:05 PagerDuty 로 Pingdom 의 고우선순위 경보가 왔다. Prometheus - live 헬스 체크가 DOWN 이었다. 팀이 Prometheus 서버를 확인하니 규칙 평가 오류가 나 있었고 서버는 Exit code 137 로 종료돼 있었다.

14:09 에 Prometheus 파드가 terminating 상태가 됐다. 14:17 에 Prometheus 가 돌던 노드가 Not Ready 가 됐다. 14:22 에 모니터링 노드를 드레인해 Prometheus 를 다른 모니터링 노드로 옮겼지만, 14:56 에 새 노드로 옮긴 Prometheus 는 올라오자마자 또 재시작됐다.

15:20 에 팀은 노드 메모리가 89% 까지 치솟는 것을 확인하고 더 큰 인스턴스로 바꾸기로 했다. 15:31 에 인스턴스를 r6i.4xlarge 로 바꿨지만 15:50 에도 Prometheus 는 뜬 뒤 또 재시작됐다. 팀은 가장 최근 파드가 OOMKilled 로 종료된 것을 찾아냈다.

증상 모니터링 중단 OOMKilled 노드 NotReady