Incident Library

조직

Grafana Labs

Grafana Labs · grafana-labs

5건 · 2019년부터 2025년

원인 설정 변경3건클라우드 제공자 장애1건소프트웨어 결함1건
구성 요소 설정 템플릿2건클라우드 로드 밸런서1건애플리케이션 데이터베이스1건etcd1건컨테이너 메모리 한도1건노드 루트 디스크1건노드 풀1건영구 볼륨과 스테이트풀셋1건파드 우선순위와 선점1건서비스 디스커버리1건
기여 요인 미검증 가정2건기본 설정 방치2건파괴적 변경 보호 장치 부재2건자동화 증폭1건과도한 영향 범위1건초기 신호 무시1건미패치 알려진 버그1건여유 용량 부재1건단계적 배포 부재1건장애 중첩1건부분 배포1건재시도 폭주1건리뷰 누락1건스테이징 불일치1건
증상 서비스 중단4건오류율 상승3건OOMKilled2건간헐적 타임아웃1건노드 NotReady1건파드 Pending1건파드 축출1건프로브 실패1건리소스 삭제1건부하 불균형1건

사례

  1. IL-0192 Crossplane 컴포지션의 병합 정책 변경이 Service 타입을 ClusterIP 로 바꿔 클라우드 로드 밸런서가 지워지고 Grafana Cloud 서비스의 약 25%가 끊겼다.Grafana Labs · 2025

    원인 설정 변경

  2. IL-0191 Loki distributor 서비스에 레이블 셀렉터가 하나 더 들어가 롤아웃 중 새 파드 몇 개에만 쓰기 트래픽이 몰렸고, 그 파드들이 OOM으로 죽으면서 로그 쓰기 경로가 약 25분간 멈췄다.Grafana Labs · 2022

    원인 설정 변경

  3. IL-0190 쿠버네티스 업그레이드로 etcd 리더가 있던 노드가 갑자기 종료된 뒤, Cortex distributor 두 개가 옛 리더와 맺은 TCP 연결이 멈춘 채 그 연결을 계속 써서 런던 리전 Hosted Prometheus 쓰기가 12분 동안 일부 실패했다.Grafana Labs · 2020

    원인 소프트웨어 결함

  4. IL-0193 GCP SSD 영구 디스크 장애로 Cassandra 파드가 볼륨을 붙이지 못했고, OrderedReady 정책 때문에 나머지 파드도 다시 뜨지 못한 데다 Metrictank 가 바뀐 Cassandra IP 로 다시 연결하지 못해, Grafana Cloud Graphite 쿼리 일부가 최대 23시간 실패했다.Grafana Labs · 2019

    원인 클라우드 제공자 장애

  5. IL-0004 새 Cortex 클러스터에서 기본 우선순위를 받은 파드가 우선순위가 없는 운영 Ingester 를 연쇄적으로 선점해 Hosted Prometheus 쓰기가 실패했다Grafana Labs · 2019

    원인 설정 변경