IL-0043 UK Ministry of Justice · 2023-08-04kubernetesobservability
영국 법무부의 Cloud Platform에서 사용자 애플리케이션 로그가 한동안 Kibana에 들어오지 않았다. 팀은 첫 신고 약 세 시간 뒤 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌었다는 것을 알아냈다. 같은 날 16:00에는 fluent-bit 버전을 한 번 더 올리고 나아지는지 지켜봤다.
8월 7일 10:30에 팀이 다시 모여 점검 순서를 정했고, 12:05에 fluent-bit 메모리 버퍼를 늘렸다. 8월 8일 16:10에 메모리 버퍼가 넘칠 때 파일 시스템에 쓰도록 하는 수정을 만들었고, 8월 9일 09:00에 머지해 Live 환경에 배포했다. 8월 10일 11:42에 로그를 더 작은 청크로 나눠 내보내도록 했다. 12:28에 복구했고 14:47에 장애를 종료했다. 복구까지 33시간 14분, 종료까지 35시간 33분이 걸렸다.
2023년 8월 4일 09:14에 사용자들이 Kibana 로그에 긴 공백이 있다고 #ask-cloud-platform 채널에 알렸다.
10:03에 Cloud Platform 팀이 조사를 시작하며 fluent-bit 파드를 재시작했고, 10:09에 장애를 선언했다. 12:03에 팀은 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌었다는 것을 알아냈다.
증상 모니터링 중단
원인 용량 한계
사용자들이 #ask-cloud-platform 채널에 알려 와서 알았다. 처음 알려진 시각은 2023년 8월 4일 09:14이고, 장애 선언은 10:09였다.
–
IL-0042 OpenSearch 디스크가 가득 찬 동안 fluent-bit 가 로그를 처리하지 못해 Elasticsearch 와 OpenSearch 에 애플리케이션 로그가 들어오지 않았다.UK Ministry of Justice · 2024같은 원인 · 공통 텔레메트리 에이전트
IL-0110 Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다.DFDS · 2024같은 원인 · 공통 텔레메트리 에이전트
IL-0194 kube-apiserver 재시작 뒤 Vector DaemonSet 의 파드 list 요청이 한꺼번에 몰려 etcd 메모리가 세 배 가까이 늘고 마스터 노드가 연쇄적으로 재시작했다.Palark · 2023같은 원인 · 공통 텔레메트리 에이전트
IL-0026 메모리 제한이 없는 fluentd-sumologic 파드가 메모리를 다 써서 운영 쿠버네티스 노드 두 대에 이틀 연속 SystemOOM 이 났다Blue Matador · 2019같은 원인 · 공통 텔레메트리 에이전트
IL-0075 클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다.Civis Analytics · 2019같은 원인 · 공통 텔레메트리 에이전트
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.