IL-0042 UK Ministry of Justice · 2024-07-25kubernetesobservability
2024-07-25 에 영국 법무부 Cloud Platform 팀의 로깅 시스템에서 Elasticsearch 와 OpenSearch 가 애플리케이션 로그를 받지 못했다. 12:10 부터 cp-live-app-logs 에서 ClusterIndexWritesBlocked 경보가 시작과 회복을 되풀이했고, 13:45 부터는 Kibana 에 로그가 전혀 들어오지 않았다. 팀은 14:27 에 사용자 제보로 이를 알았고 14:54 에 장애를 선언했다.
fluent-bit 컨테이너 로그에는 “could not enqueue into the ring buffer” 오류가 찍혀 있었다. 팀은 fluent-bit 컨테이너를 모두 다시 시작했지만 몇 분 만에 같은 오류가 다시 났다. 15:18 에 OpenSearch 디스크가 가득 찬 것을 알아채고 디스크를 8000 에서 12000 으로 늘렸다. 15:58 에 증설이 끝나자 fluent-bit 가 다시 로그를 처리하기 시작했다. 근본 원인을 조사하는 동안에는 fluent-bit 가 OpenSearch 로 로그를 보내지 않도록 임시로 설정을 바꿨고, 16:19 에 해결을 선언했다.
복구까지 3시간 8분, 해결까지 4시간 9분이 걸렸다. 장애 기간의 사용자 로그는 잃었고 되찾지 못했다.
14:27 에 사용자가 #ask-cloud-platform 채널로 Kibana 에 13:45 부터 로그가 들어오지 않는다고 알려 왔다.
그보다 앞선 12:10 에 cp-live-app-logs 에서 ClusterIndexWritesBlocked 경보가 시작됐다. 이 경보는 13:40 까지 시작과 회복을 여러 번 되풀이했다. 13:45 부터는 Kibana 에 로그가 전혀 들어오지 않았다.
14:32 에 처음 살펴봤을 때 live 모니터링 네임스페이스에서는 문제가 보이지 않았다. 14:55 에 fluent-bit 컨테이너 로그에서 “could not enqueue into the ring buffer” 오류가 나왔다.
14:59 에 fluent-bit 컨테이너를 모두 rollout restart 했다. 로그가 일부 흐르기 시작했지만 몇 분 뒤 같은 오류가 다시 나왔다. 15:18 에야 OpenSearch 의 디스크 공간이 바닥난 것을 알아챘다.
증상 모니터링 중단
원문은 처음 감지된 시각을 12:10 으로 적었다. 이때 cp-live-app-logs 에서 ClusterIndexWritesBlocked 경보가 시작됐다. 팀이 실제로 문제를 알게 된 것은 14:27 에 사용자가 #ask-cloud-platform 채널로 Kibana 에 13:45 부터 로그가 들어오지 않는다고 알려 왔을 때였다.
–
IL-0110 Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다.DFDS · 2024같은 원인 · 공통 텔레메트리 에이전트
같은 원인 · 공통 텔레메트리 에이전트
IL-0194 kube-apiserver 재시작 뒤 Vector DaemonSet 의 파드 list 요청이 한꺼번에 몰려 etcd 메모리가 세 배 가까이 늘고 마스터 노드가 연쇄적으로 재시작했다.Palark · 2023같은 원인 · 공통 텔레메트리 에이전트
IL-0026 메모리 제한이 없는 fluentd-sumologic 파드가 메모리를 다 써서 운영 쿠버네티스 노드 두 대에 이틀 연속 SystemOOM 이 났다Blue Matador · 2019같은 원인 · 공통 텔레메트리 에이전트
IL-0075 클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다.Civis Analytics · 2019같은 원인 · 공통 텔레메트리 에이전트
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.