Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

프로브 실패

Probe failures · readiness-probe-failures

16건 · 2018년부터 2026년

원인 용량 한계3건 소프트웨어 결함3건 설정 변경2건 의존성 장애2건 배포 결함2건 unknown2건 클라우드 제공자 장애1건 운영 실수1건

구성 요소 컨테이너 메모리 한도4건 Prometheus4건 kubelet3건 인메모리 캐시2건 애플리케이션 데이터베이스

기여 요인 기본 설정 방치6건 한계 미인지4건 미검증 가정3건 과도한 영향 범위3건

조직 OpenAI2건 UK Ministry of Justice2건 AdGuard VPN1건 Airbnb1건 DevOps Hof

사례

IL-0136 Sweden Central 리전에서 내부 서비스 배포가 캐시를 비워 메타데이터 백엔드에 평소 20배의 트래픽이 몰렸고, 데이터베이스 연결에 기대는 헬스 체크가 인스턴스를 계속 재시작시켜 Azure OpenAI 요청이 6시간 가까이 실패했다Microsoft Azure · 2026
원인 배포 결함
IL-0063 Redis 스테이트풀셋을 다시 만들자 Redis 클러스터가 한꺼번에 재시작되며 일부가 망가졌고, 재연결 폭주로 백엔드가 OOM 으로 죽어 AdGuard VPN 이 약 50분 멈췄다.AdGuard VPN · 2025
원인 설정 변경
IL-0187 Spring Cloud Config Server 가 잠깐 내려가자 이를 헬스 체크에 포함한 모든 앱의 Liveness Probe 가 실패해 쿠버네티스가 파드를 계속 죽이고 다시 띄우면서 한 계열사 서비스가 마비됐다.

그래프에서 보기

2건

인그레스 컨트롤러2건

리눅스 커널2건

서비스 디스커버리2건

어드미션 웹훅1건

클라우드 로드 밸런서1건

설정 템플릿1건

컨테이너 CPU 한도1건

라이브니스·레디니스 프로브1건

쿠버네티스 API 서버1건

모델 요청 라우팅1건

노드 운영체제 이미지1건

영구 볼륨과 스테이트풀셋1건

텔레메트리 에이전트1건

모니터링 사각지대3건

여유 용량 부재3건

자동화 증폭2건

초기 신호 무시2건

의존성에 묶인 헬스 체크2건

재시도 폭주2건

단일 장애점2건

피크 시간 변경1건

늦게 드러난 변경1건

미패치 알려진 버그1건

수동 조치 악화1건

한계 경보 부재1건

용량 계획 부재1건

설정 테스트 부재1건

헬스 프로브 부재1건

리소스 요청과 한도 미설정1건

런북 부재1건

스테이징 불일치1건

1건

Grafana Labs1건

Microsoft Azure1건

Saifeddine Rajhi1건

Tetrate (unnamed U.S. federal customer)1건

Yonghyun Kim1건

Yonghyun Kim · 2025

원인 의존성 장애

IL-0103 EKS 노드 AMI 업데이트로 파드가 한꺼번에 다시 뜨자 인증서 요청이 몰린 외부 CA 가 과부하에 걸려 Istio 사이드카가 CrashLoopBackOff 에 빠졌다.Tetrate (unnamed U.S. federal customer) · 2025 · sev1

원인 의존성 장애

IL-0119 Cosmos DB 장애 뒤 ChatGPT 웹 서비스 파드가 헬스 체크 실패로 크래시 루프에 빠져 chatgpt.com 과 일부 API 의 오류율이 높아졌다.OpenAI · 2025

원인 클라우드 제공자 장애

IL-0044 kube-prometheus-stack 업그레이드 뒤 Prometheus 가 WAL 재생 중 메모리를 50Gi 넘게 써서 시작할 때마다 OOMKilled 로 죽었다Saifeddine Rajhi · 2024

원인 용량 한계

IL-0046 계획된 재시작 뒤 Prometheus 가 WAL 을 다 읽기 전에 startupProbe 에 걸려 재시작을 반복했고 지표가 빠졌다UK Ministry of Justice · 2024

원인 용량 한계

IL-0123 응답 버퍼를 재사용하지 않는 버그로 라우팅 계층 노드가 메모리 한도에 걸려 레디니스 검사에 실패했고, 트래픽이 몰리자 남은 노드가 모자라 모든 모델에서 요청 상당수가 502, 503 오류로 실패했다.OpenAI · 2023

원인 소프트웨어 결함

IL-0045 live 클러스터의 Prometheus 가 readiness probe 실패로 여러 번 재시작해 Cloud Platform 모니터링이 끊기고 메트릭이 빠졌다UK Ministry of Justice · 2023

원인 unknown

IL-0191 Loki distributor 서비스에 레이블 셀렉터가 하나 더 들어가 롤아웃 중 새 파드 몇 개에만 쓰기 트래픽이 몰렸고, 그 파드들이 OOM으로 죽으면서 로그 쓰기 경로가 약 25분간 멈췄다.Grafana Labs · 2022

원인 설정 변경

IL-0106 잘못된 IngressRoute 매니페스트가 Traefik v2 버그를 건드려 Traefik 파드가 모두 재시작된 뒤 Kubernetes 의 모든 서비스가 404 를 냈다DFDS · 2021

원인 소프트웨어 결함

IL-0176 시계열 급증으로 호스트 메모리가 바닥나자 oom_score_adj 999 를 받은 Prometheus 컨테이너가 커널 OOM Killer 에게 먼저 죽어 CrashLoopBackOff 에 빠졌다.LINE · 2020

원인 용량 한계

IL-0012 CPU limit 과 커널 CFS 쿼터 버그로 파드가 과하게 스로틀링돼 헬스 체크가 실패하고 애플리케이션이 멈췄다Omio · 2020

원인 소프트웨어 결함

IL-0034 메트릭 에이전트 사이드카가 업그레이드 중 크래시하자 클러스터의 모든 파드가 준비되지 않은 상태가 되어 서비스가 트래픽을 받지 못했다Airbnb · 2019

원인 배포 결함

IL-0054 GKE 에서 옛 노드 풀을 드레인하자 로드밸런서가 ingress-nginx 파드가 없는 새 노드만 가리켜 클러스터의 모든 인그레스 트래픽이 끊겼다DevOps Hof · 2019

원인 운영 실수

IL-0059 kubeadm이 만든 etcd 정적 파드의 liveness probe가 실패해 kubelet이 약 2분마다 etcd를 재시작했고, 단일 마스터 클러스터의 API 서버가 계속 끊겼다NRE Labs · 2018

원인 unknown