사례3건

3건 중 1~3번째

1. IL-0042 OpenSearch 디스크가 가득 찬 동안 fluent-bit 가 로그를 처리하지 못해 Elasticsearch 와 OpenSearch 에 애플리케이션 로그가 들어오지 않았다.

   UK Ministry of Justice2024

   증상

   14:27 에 사용자가 #ask-cloud-platform 채널로 Kibana 에 13:45 부터 로그가 들어오지 않는다고 알려 왔다.

   모니터링 중단

   촉발

   OpenSearch 의 디스크 공간이 바닥나 인덱스 쓰기가 막혔다.

   원인

   용량 한계

   구성 요소

   텔레메트리 에이전트Elasticsearch 와 OpenSearch

   기여 요인

   한계 경보 부재

   감지

   원문은 처음 감지된 시각을 12:10 으로 적었다. 이때 cp-live-app-logs 에서 ClusterIndexWritesBlocked 경보가 시작됐다. 팀이 실제로 문제를 알게 된 것은 14:27 에 사용자가 #ask-cloud-platform 채널로 Kibana 에 13:45 부터 로그가 들어오지 않는다고 알려 왔을 때였다.

   조치

   • 14:59 에 fluent-bit 컨테이너를 모두 rollout restart 했다. 로그가 잠깐 일부 흘렀지만 같은 오류가 다시 났다.
   • OpenSearch 디스크 공간을 8000 에서 12000 으로 늘렸다.
   • 근본 원인을 조사하는 동안 임시 조치로 fluent-bit 가 OpenSearch 로 로그를 보내지 않게 설정했다.

   후속 조치

   • OpenSearch 와 Elasticsearch 의 인덱스 날짜 문제를 살핀다.
   • Elasticsearch 와 OpenSearch 에 우선순위 높은 경보를 만든다.
   • OpenSearch 를 live 로깅에 다시 넣는다.
   • fluent-bit 의 “failed to flush chunk” 오류를 조사한다.

   사례 보기
2. IL-0043 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌어 Kibana의 애플리케이션 로그에 긴 공백이 생겼다

   UK Ministry of Justice2023

   증상

   2023년 8월 4일 09:14에 사용자들이 Kibana 로그에 긴 공백이 있다고 #ask-cloud-platform 채널에 알렸다.

   모니터링 중단

   촉발

   새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌었다.

   원인

   용량 한계

   구성 요소

   텔레메트리 에이전트

   기여 요인

   한계 경보 부재모니터링 사각지대

   감지

   사용자들이 #ask-cloud-platform 채널에 알려 와서 알았다. 처음 알려진 시각은 2023년 8월 4일 09:14이고, 장애 선언은 10:09였다.

   조치

   • 메모리 버퍼가 넘칠 때 파일 시스템에 쓰도록 하는 수정을 넣어 Live 환경에 배포했다.
   • 로그를 더 작은 청크로 나눠 내보내도록 바꿨다.

   후속 조치

   • 로깅 클러스터에서 나오는 알림을 #lower-priority-alerts 채널로 보낸다. 이슈 번호는 #4704다.
   • 로그가 로깅 클러스터로 실제로 전송되는지 확인하는 통합 테스트를 추가한다.

   사례 보기
3. IL-0016 네임스페이스와 규칙이 늘어 live 클러스터의 Prometheus 가 메모리 부족으로 OOMKilled 되며 플랫폼 모니터링이 끊겼다

   UK Ministry of Justice2023

   증상

   2023-07-25 14:05 PagerDuty 로 Pingdom 의 고우선순위 경보가 왔다. Prometheus - live 헬스 체크가 DOWN 이었다. 팀이 Prometheus 서버를 확인하니 규칙 평가 오류가 나 있었고 서버는 Exit code 137 로 종료돼 있었다.

   모니터링 중단OOMKilled노드 NotReady

   촉발

   네임스페이스와 Prometheus 규칙 수가 늘어 Prometheus 서버가 쓰는 메모리가 늘었고, 기존 인스턴스 크기로는 Prometheus 를 계속 띄울 수 없었다.

   원인

   용량 한계

   구성 요소

   Prometheus노드 풀컨테이너 메모리 한도

   기여 요인

   한계 경보 부재

   감지

   14:05 Pingdom 이 Prometheus - live 헬스 체크가 DOWN 인 것을 감지해 PagerDuty 로 고우선순위 경보를 보냈다. 장애 선언은 15:21 에 했다.

   조치

   • 14:22 모니터링 노드를 드레인해 Prometheus 를 다른 모니터링 노드로 옮겼다.
   • 15:31 노드 인스턴스 크기를 CPU 와 메모리가 두 배인 r6i.4xlarge 로 바꿨다.
   • 15:50 Prometheus 컨테이너의 메모리 limit 을 100Gi 로 올렸다.
   • 16:18 Prometheus 컨테이너 limit 을 CPU 12코어, 메모리 110Gi 로 바꿨다.

   후속 조치

   • 노드 메모리 사용량을 감시하고, 파드 하나가 노드 메모리 대부분을 쓰는 상황을 잡아내는 경보를 추가한다. 이 일은 이슈 #4538 에서 다룬다.

   사례 보기

원인별1