Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

파드 Pending

Pods Pending · pod-pending

15건 · 2017년부터 2025년

원인 용량 한계5건 클라우드 제공자 장애4건 소프트웨어 결함3건 설정 변경1건 의존성 장애1건 배포 결함1건

구성 요소 노드 풀8건 클러스터 오토스케일러6건 kubelet3건 VPC 서브넷 또는 파드 주소 범위3건 AWS VPC CNI

기여 요인 기본 설정 방치5건 모니터링 사각지대4건 장애 중첩4건 미검증 가정2건

조직 2i2c2건 loveholidays2건 Adevinta1건 CoW Protocol1건 FREE NOW

사례

IL-0006 AWS VPC CNI 가 자원이 찬 노드에 IP 를 붙잡아 두어 us-east-1 서브넷 IP 가 바닥났고, WARM_IP_TARGET 을 바꾼 조치가 파드 시작 실패를 더 오래 끌었다Neon · 2025
원인 용량 한계
IL-0020 EKS 1.30 업그레이드 중 디스케줄러가 cordon 된 노드의 파드를 한꺼번에 쫓아내 운영 서비스가 멈췄다UK Ministry of Justice · 2025
원인 배포 결함
IL-0007 EKS 클러스터에서 VPC-CNI 가 파드마다 VPC IP 를 쓰다가 서브넷 IP 가 바닥나 파드가 IP 를 받지 못했다 · 2024

그래프에서 보기

3건

노드 루트 디스크2건

컨테이너 런타임1건

애플리케이션 데이터베이스1건

디스케줄러1건

GKE 컨트롤 플레인1건

수평 파드 오토스케일러1건

인그레스 컨트롤러1건

쿠버네티스 컨트롤러 매니저1건

노드 운영체제 이미지1건

영구 볼륨과 스테이트풀셋1건

파드 스케줄링과 배치1건

파드 종료 처리1건

과도한 영향 범위2건

초기 신호 무시2건

용량 계획 부재2건

여유 용량 부재2건

단일 장애점2건

미패치 알려진 버그1건

한계 미인지1건

디버그 접근 제한1건

수동 조치 악화1건

한계 경보 부재1건

헬스 프로브 부재1건

온콜 호출 미전달1건

재시도 폭주1건

롤백 무효1건

스테이징 불일치1건

버전 미고정1건

1건

Google Cloud1건

Grafana Labs1건

UK Ministry of Justice1건

원인 용량 한계

IL-0148 클러스터에 없는 노드를 가리키는 노드 어피니티를 가진 파드 하나 때문에 kube-scheduler 가 패닉에 빠져 AKS 클러스터에서 파드가 하나도 스케줄되지 않았다Microsoft · 2024

원인 소프트웨어 결함

IL-0114 클러스터 용량을 늘리던 중 버전이 고정되지 않은 VPC CNI 플러그인이 자동으로 업데이트돼 새 파드가 IP 를 받지 못하고 Pending 에 머물렀고, 메인넷 운영 환경의 정산이 약 3.5시간 멈췄다.CoW Protocol · 2024

원인 설정 변경

IL-0070 dask-gateway로 워커를 대량으로 띄우자 노드가 1분 만에 100대 늘었고, Prometheus가 메모리를 거의 다 쓰던 코어 노드에서 hub 파드를 비롯한 중요한 파드들이 축출되거나 재시작됐다2i2c · 2023

원인 용량 한계

IL-0096 GCP europe-west2-b 존의 자원이 바닥나 이 존 하나에 묶인 GKE 노드 풀이 늘어나지 못했고, LIS 허브의 사용자 서버가 6시간 30분 동안 뜨지 않았다.2i2c · 2022

원인 클라우드 제공자 장애

IL-0139 Calico 네트워크 정책을 쓰는 GKE 클러스터를 1.22 이상으로 업그레이드하자 경쟁 조건 때문에 CNI 정리가 Unauthorized 로 실패해 파드가 Terminating 이나 Pending 에 멈췄다.Google Cloud · 2022

원인 소프트웨어 결함

IL-0205 Google Cloud us-east1 의 SSD 영구 디스크 재고가 바닥나 GKE 클러스터 오토스케일러가 프로덕션 노드를 늘리지 못했고, API 디플로이먼트가 파드를 띄울 용량을 얻지 못했다.GitLab · 2021

원인 클라우드 제공자 장애

IL-0015 GKE 가 노드마다 IP 256개를 미리 잡아 /16 파드 주소 범위가 바닥나고 노드 증설과 배포가 멈췄다loveholidays · 2020

원인 용량 한계

IL-0193 GCP SSD 영구 디스크 장애로 Cassandra 파드가 볼륨을 붙이지 못했고, OrderedReady 정책 때문에 나머지 파드도 다시 뜨지 못한 데다 Metrictank 가 바뀐 Cassandra IP 로 다시 연결하지 못해, Grafana Cloud Graphite 쿼리 일부가 최대 23시간 실패했다.Grafana Labs · 2019

원인 클라우드 제공자 장애

IL-0039 CentOS 저장소 재구성으로 kops nodeup 에 하드코딩된 container-selinux 패키지 주소가 깨져 새 워커 노드가 클러스터에 합류하지 못했다FREE NOW · 2019

원인 의존성 장애

IL-0014 GKE 를 1.12.5-gke.10 으로 올리는 중 노드 풀 업그레이드가 멈추고 인그레스와 HPA 가 망가졌다loveholidays · 2019

원인 클라우드 제공자 장애

IL-0038 kubelet 설정 변경을 롤링 업데이트하다 쿠버네티스 버그로 kubelet 이 올라오지 못해 한 클러스터의 노드가 NotReady 가 되고 파드 절반쯤이 축출됐다Oath · 2018

원인 소프트웨어 결함

IL-0040 비운영 쿠버네티스 클러스터에 Helm 차트를 한꺼번에 설치하자 작은 gp2 루트 볼륨의 IOPS 가 바닥나, 워커 노드 세 대에서 kubelet 이나 Docker 가 내려가 세 대 모두 NotReady 가 됐다Saltside · 2017

원인 용량 한계