Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

모니터링 중단

Monitoring outage · monitoring-down

19건 · 2019년부터 2026년

원인 용량 한계10건 설정 변경2건 소프트웨어 결함2건 업그레이드로 깨진 호환성2건 의존성 장애1건 운영 실수1건 unknown1건

구성 요소 Prometheus7건 컨테이너 메모리 한도6건 텔레메트리 에이전트5건 kubelet4건 etcd

기여 요인 모니터링 사각지대8건 기본 설정 방치5건 한계 경보 부재5건 과도한 영향 범위4건

조직 UK Ministry of Justice6건 DFDS2건 Barush Mendez1건 Fullstaq1건 LINE+

사례

IL-0133 폭풍으로 데이터센터 냉각이 멈춰 us-central1 리전 전체가 내려갔고, 디스크 핫플러그 버그로 Managed Kubernetes 컨트롤 플레인 약 140개의 복구가 길어졌다.Nebius · 2026
원인 의존성 장애
IL-0138 nvidia-dkms-390 드라이버 빌드 실패로 망가진 커널 헤더가 몇 주 동안 방치됐다가, 정전 뒤 재부팅하자 하나뿐인 마스터 노드가 커널 패닉에 빠져 홈랩 쿠버네티스 클러스터가 6일 동안 멈췄다.Barush Mendez · 2025
원인 소프트웨어 결함
IL-0042 OpenSearch 디스크가 가득 찬 동안 fluent-bit 가 로그를 처리하지 못해 Elasticsearch 와 OpenSearch 에 애플리케이션 로그가 들어오지 않았다.

그래프에서 보기

3건

쿠버네티스 API 서버3건

클라이언트 쪽 DNS 리졸버와 캐시2건

Elasticsearch 와 OpenSearch2건

리눅스 커널2건

어드미션 웹훅1건

클라우드 블록 스토리지1건

클라우드 로드 밸런서1건

컨테이너 런타임1건

파드용 자격 증명 중개자1건

애플리케이션 데이터베이스1건

데이터센터 전력·냉각1건

external-dns1건

GPU 드라이버1건

InfiniBand 패브릭1건

인그레스 컨트롤러1건

노드 런치 템플릿1건

노드 운영체제 이미지1건

클러스터 인증 제공자1건

컨테이너 레지스트리와 자격 증명1건

단일 장애점4건

한계 미인지3건

수동 조치 악화3건

리소스 요청과 한도 미설정3건

재시도 폭주3건

자동화 증폭2건

초기 신호 무시2건

런북 부재2건

스테이징 불일치2건

미검증 백업1건

코드로 관리되지 않는 설정1건

늦게 드러난 변경1건

미패치 알려진 버그1건

디버그 접근 제한1건

캐시 부재1건

용량 계획 부재1건

설정 테스트 부재1건

파괴적 변경 보호 장치 부재1건

여유 용량 부재1건

단계적 배포 부재1건

장애 중첩1건

1건

Microsoft Azure1건

PrometheusKube1건

Saifeddine Rajhi1건

UK Ministry of Justice · 2024

원인 용량 한계

IL-0044 kube-prometheus-stack 업그레이드 뒤 Prometheus 가 WAL 재생 중 메모리를 50Gi 넘게 써서 시작할 때마다 OOMKilled 로 죽었다Saifeddine Rajhi · 2024

원인 용량 한계

IL-0046 계획된 재시작 뒤 Prometheus 가 WAL 을 다 읽기 전에 startupProbe 에 걸려 재시작을 반복했고 지표가 빠졌다UK Ministry of Justice · 2024

원인 용량 한계

IL-0110 Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다.DFDS · 2024

원인 용량 한계

IL-0169 FR-PAR 의 Scaleway Kubernetes API 가 메모리 부족으로 쓰러져 노드 인증이 막히고 Kapsule 노드가 NotReady 가 됐다.Scaleway · 2024

원인 용량 한계

IL-0045 live 클러스터의 Prometheus 가 readiness probe 실패로 여러 번 재시작해 Cloud Platform 모니터링이 끊기고 메트릭이 빠졌다UK Ministry of Justice · 2023

원인 unknown

IL-0043 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌어 Kibana의 애플리케이션 로그에 긴 공백이 생겼다UK Ministry of Justice · 2023

원인 용량 한계

IL-0016 네임스페이스와 규칙이 늘어 live 클러스터의 Prometheus 가 메모리 부족으로 OOMKilled 되며 플랫폼 모니터링이 끊겼다UK Ministry of Justice · 2023

원인 용량 한계

IL-0060 쿠버네티스 1.24 업그레이드로 node-role.kubernetes.io/master 레이블이 사라지자 이 레이블에 기대던 Calico 라우트 리플렉터가 동작을 멈춰 레거시 클러스터의 네트워크가 모두 끊기고 Reddit 이 314분 동안 멈췄다Reddit · 2023

원인 업그레이드로 깨진 호환성

IL-0109 로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다.DFDS · 2023 · sev1

원인 설정 변경

IL-0144 Ubuntu 18.04 의 systemd 보안 업데이트가 DNS 설정을 날려 AKS 노드의 kubelet 이 레지스트리 이름을 해석하지 못하고 파드가 ImagePullBackoff 에 빠졌다.Microsoft Azure · 2022

원인 업그레이드로 깨진 호환성

IL-0041 fluent-bit 이 오류 없이 멈춰 운영 노드 한 대의 애플리케이션 로그가 Elasticsearch 로 전혀 가지 않았다.PrometheusKube · 2020

원인 소프트웨어 결함

IL-0089 테스트 클러스터 삭제 스크립트가 운영 클러스터 live-1 을 대상으로 실행돼 인그레스 컨트롤러, 모니터링, 인증서 구성 요소가 지워지고 사용자 서비스에 접속할 수 없게 됐다.UK Ministry of Justice · 2020

원인 운영 실수

IL-0176 시계열 급증으로 호스트 메모리가 바닥나자 oom_score_adj 999 를 받은 Prometheus 컨테이너가 커널 OOM Killer 에게 먼저 죽어 CrashLoopBackOff 에 빠졌다.LINE · 2020

원인 용량 한계

IL-0076 dex의 AuthRequest 리소스가 끝없이 쌓였고, 이를 치우려고 네임스페이스를 지우자 목록 조회 타임아웃과 재시도가 반복되며 쿠버네티스 마스터가 내려갔다Fullstaq · 2019

원인 용량 한계

IL-0035 ElastAlert 에 새로 넣은 알림 규칙 때문에 ElastAlert 파드가 메모리를 끝없이 써서 노드가 잇달아 NotReady 가 되었고, 같은 클러스터의 도구와 Grafana, Prometheus 가 함께 흔들렸다.NU.nl · 2019

원인 설정 변경

IL-0001 CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다Zalando · 2019

원인 용량 한계