Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

기여 요인

재시도 폭주

Retry storm · retry-storm

16건 · 2019년부터 2026년

원인 용량 한계10건 설정 변경3건 소프트웨어 결함2건 배포 결함1건

구성 요소 애플리케이션 데이터베이스5건 인메모리 캐시4건 컨테이너 메모리 한도4건 클라우드 로드 밸런서2건 클러스터 오토스케일러

증상 지연 시간 증가8건 오류율 상승7건 OOMKilled6건 서비스 중단6건

조직 Scaleway2건 AdGuard VPN1건 Amazon Web Services1건 Buildkite1건 Fullstaq

사례

IL-0136 Sweden Central 리전에서 내부 서비스 배포가 캐시를 비워 메타데이터 백엔드에 평소 20배의 트래픽이 몰렸고, 데이터베이스 연결에 기대는 헬스 체크가 인스턴스를 계속 재시작시켜 Azure OpenAI 요청이 6시간 가까이 실패했다Microsoft Azure · 2026
원인 배포 결함
IL-0102 배포와 워커 오토스케일링 폭주가 겹치자 크기를 고정해 둔 CoreDNS 가 메모리 한도를 넘겨 재시작된 뒤 회복하지 못했고, Buildkite 사이트 전체가 약 30분 멈췄다.Buildkite · 2026
원인 용량 한계
IL-0063 Redis 스테이트풀셋을 다시 만들자 Redis 클러스터가 한꺼번에 재시작되며 일부가 망가졌고, 재연결 폭주로 백엔드가 OOM 으로 죽어 AdGuard VPN 이 약 50분 멈췄다.

그래프에서 보기

2건

쿠버네티스 API 서버2건

영구 볼륨과 스테이트풀셋2건

클라우드 컨트롤러 매니저1건

conntrack 테이블1건

클라이언트 쪽 DNS 리졸버와 캐시1건

DNS 서버와 레코드1건

GKE 컨트롤 플레인1건

수평 파드 오토스케일러1건

인그레스 컨트롤러1건

모델 허브1건

클러스터 인증 제공자1건

파드 우선순위와 선점1건

파드 스케줄링과 배치1건

VPC 서브넷 또는 파드 주소 범위1건

AWS VPC CNI1건

데이터베이스 과부하4건

DNS 조회 실패3건

간헐적 연결 실패3건

모니터링 중단3건

노드 NotReady3건

컨트롤 플레인 지연2건

컨테이너 재시작 반복2건

간헐적 타임아웃2건

프로브 실패2건

오토스케일러 오동작1건

노드 증설 실패1건

클라우드 API 호출 한도 소진1건

연결 리셋1건

컨트롤 플레인 무응답1건

IP 주소 고갈1건

노드 CPU 고부하1건

아웃바운드 연결 고갈1건

파드 Pending1건

파드 축출1건

1건

Google Cloud1건

Grafana Labs1건

Hugging Face1건

Magic Pages1건

Microsoft Azure1건

AdGuard VPN · 2025

원인 설정 변경

IL-0100 노드가 파드의 CPU 요청에 비해 작아 CPU 가 포화되면서 PostHog 기능 플래그 서비스에 열흘 사이 장애가 세 번 났다.PostHog · 2025

원인 용량 한계

IL-0150 DynamoDB DNS 자동화의 경쟁 조건이 us-east-1 리전 엔드포인트의 DNS 레코드를 비워 DynamoDB 와 EC2 인스턴스 시작이 실패했고, 그 여파로 EKS, ECS, Fargate 의 컨테이너 시작과 클러스터 스케일링이 14시간 넘게 막혔다Amazon Web Services · 2025

원인 소프트웨어 결함

IL-0006 AWS VPC CNI 가 자원이 찬 노드에 IP 를 붙잡아 두어 us-east-1 서브넷 IP 가 바닥났고, WARM_IP_TARGET 을 바꾼 조치가 파드 시작 실패를 더 오래 끌었다Neon · 2025

원인 용량 한계

IL-0085 Hetzner Cloud 의 k3s 컨트롤 플레인 노드가 메모리 부족으로 꺼진 뒤 클러스터가 Hetzner API 호출 한도를 다 써 버려 모든 고객 사이트가 약 7.5시간 멈췄다.Magic Pages · 2025

원인 용량 한계

IL-0024 무거운 API 요청이 MongoDB 에 과부하를 걸고 취소되지 않은 요청이 쌓여 Hugging Face Hub 가 사흘 동안 세 번 멈췄다Hugging Face · 2024

원인 소프트웨어 결함

IL-0168 새 쿠버네티스 릴리스 뒤 많은 Kapsule 클러스터가 동시에 자동 업그레이드되면서 Kubernetes API 가 과부하로 OOM 이 났고, 새 노드 인증 방식의 재시도가 혼잡을 키워 노드가 Not Ready 가 됐다.Scaleway · 2024

원인 용량 한계

IL-0169 FR-PAR 의 Scaleway Kubernetes API 가 메모리 부족으로 쓰러져 노드 인증이 막히고 Kapsule 노드가 NotReady 가 됐다.Scaleway · 2024

원인 용량 한계

IL-0202 갑자기 몰린 쿼리와 데이터베이스 쓰기로 Honeycomb 수집 호스트가 메모리 부족으로 죽었고, 쿠버네티스 CrashLoopBackOff 가 용량 회복을 막아 US1 이벤트 수집이 한 시간 넘게 불안정했다Honeycomb · 2023 · sev1

원인 용량 한계

IL-0177 다른 팀의 설정 배포로 공유 L7 HAProxy 가 재로드될 때마다 messaging-hub 의 웹소켓 연결이 한꺼번에 끊겼다.LINE+ · 2022

원인 설정 변경

IL-0140 us-central1 의 GKE API 가 지연과 오류를 내면서 고객이 클러스터 상태 확인, 업그레이드, 생성과 삭제를 하지 못했다.Google Cloud · 2022

원인 용량 한계

IL-0004 새 Cortex 클러스터에서 기본 우선순위를 받은 파드가 우선순위가 없는 운영 Ingester 를 연쇄적으로 선점해 Hosted Prometheus 쓰기가 실패했다Grafana Labs · 2019

원인 설정 변경

IL-0076 dex의 AuthRequest 리소스가 끝없이 쌓였고, 이를 치우려고 네임스페이스를 지우자 목록 조회 타임아웃과 재시도가 반복되며 쿠버네티스 마스터가 내려갔다Fullstaq · 2019

원인 용량 한계

IL-0001 CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다Zalando · 2019

원인 용량 한계