Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

구성 요소

노드 운영체제 이미지

Node operating system image · node-image

16건 · 2019년부터 2025년

원인 소프트웨어 결함6건 업그레이드로 깨진 호환성4건 의존성 장애3건 설정 변경1건 배포 결함1건 DNS·네트워크 장애1건

기여 요인 자동화 증폭6건 단계적 배포 부재5건 기본 설정 방치4건 미패치 알려진 버그3건

증상 노드 NotReady5건 GPU 인식 불가3건 간헐적 타임아웃3건 서비스 중단3건

조직 Microsoft Azure3건 Google Cloud2건 Altinity1건 Buffer1건 Datadog

사례, 심각도 순

IL-0103 EKS 노드 AMI 업데이트로 파드가 한꺼번에 다시 뜨자 인증서 요청이 몰린 외부 CA 가 과부하에 걸려 Istio 사이드카가 CrashLoopBackOff 에 빠졌다.Tetrate (unnamed U.S. federal customer) · 2025 · sev1
원인 의존성 장애
IL-0171 Bottlerocket AMI 에 libdcgm.so 가 없어 GPU 노드의 AcceleratedHardwareReady 가 False 가 됐고, Karpenter 노드 자동 복구가 Ready 뒤 10~11분마다 GPU 노드를 교체하는 일을 끝없이 되풀이했다.Inflab · 2025
원인 소프트웨어 결함
IL-0147 AKS 202508 노드 이미지가 캐시되지 않은 쿠버네티스 바이너리를 받을 때 HTTP 프록시 설정을 쓰지 않아, 프록시 뒤에 있는 노드의 프로비저닝이 CSE 종료 코드 31 로 실패했다.

그래프에서 보기

미검증 가정2건

늦게 드러난 변경2건

디버그 접근 제한2건

모니터링 사각지대2건

과도한 영향 범위1건

캐시로 가려진 장애1건

한계 미인지1건

헬스 프로브 부재1건

장애 중첩1건

업그레이드 정체3건

노드 증설 실패2건

지연 시간 증가2건

CPU 스로틀링1건

컨테이너 재시작 반복1건

DNS 조회 실패1건

오류율 상승1건

이미지 풀 실패1건

간헐적 연결 실패1건

모니터링 중단1건

노드 커널 패닉1건

노드 재생성 반복1건

파드 Pending1건

프로브 실패1건

처리량 저하1건

1건

DigitalOcean1건

Tetrate (unnamed U.S. federal customer)1건

Microsoft · 2025

원인 소프트웨어 결함

IL-0120 클라우드 GPU 서버의 정기 OS 업데이트가 systemd-networkd 를 재시작해 자체 네트워크 에이전트와 충돌했고, 많은 GPU 노드의 라우트가 모두 지워져 ChatGPT 와 API 의 오류율이 크게 올랐다.OpenAI · 2025

원인 업그레이드로 깨진 호환성

IL-0079 GKE 노드가 새 ubuntu_containerd 이미지로 자동 업그레이드된 뒤 커널에서 kube-proxy 가 쓰는 iptables 확장이 빠져, 여러 GKE 클러스터의 인그레스 트래픽이 완전히 끊겼다.Altinity · 2025

원인 업그레이드로 깨진 호환성

IL-0021 GKE 의 COS 노드가 NVIDIA GPU 드라이버를 403 Forbidden 으로 받지 못해 새로 만든 GPU 노드를 쓸 수 없었다Google Cloud · 2024

원인 의존성 장애

IL-0153 DOKS 1.27.6-do.0 과 1.28.2-do.0 워커 노드에서 매일 아침 도는 apt 자동 업그레이드가 15분 타임아웃에 걸려 강제 종료되면서 노드 네트워킹이 망가지고, 노드가 사흘 연속 NotReady 가 됐다.DigitalOcean · 2023

원인 설정 변경

IL-0198 systemd 보안 패치가 Ubuntu 22.04 노드의 systemd-networkd 를 재시작해 Cilium 이 넣은 IP 규칙을 지웠고, 여러 리전과 세 클라우드의 Kubernetes 노드가 한꺼번에 네트워크를 잃었다.Datadog · 2023

원인 업그레이드로 깨진 호환성

IL-0112 나중에 회수된 EKS 노드 AMI 로 노드를 교체한 뒤 노드가 PLEG is not healthy 를 보고하며 NotReady 를 오갔고 파드 네트워크 타임아웃이 났다DFDS · 2022

원인 소프트웨어 결함

IL-0144 Ubuntu 18.04 의 systemd 보안 업데이트가 DNS 설정을 날려 AKS 노드의 kubelet 이 레지스트리 이름을 해석하지 못하고 파드가 ImagePullBackoff 에 빠졌다.Microsoft Azure · 2022

원인 업그레이드로 깨진 호환성

IL-0146 Central India 에서 새로 만든 Azure CNI 클러스터의 VM 이 높은 값의 MAC 주소를 받으면서 bridge 모드 Azure CNI 의 오래된 버그가 드러나 터널 연결이 끊기고 kubectl exec 와 파드 간 통신이 타임아웃됐다.Microsoft Azure · 2020

원인 소프트웨어 결함

IL-0029 CPU 한도를 건 컨테이너가 사용량이 한도에 한참 못 미치는데도 스로틀링되어 사용자 대면 서비스의 지연 시간이 늘었다.Buffer · 2020

원인 소프트웨어 결함

IL-0143 GKE 1.13 과 1.14 의 특정 버전으로 업그레이드한 노드에서 커널 패닉이 늘었다.Google Cloud · 2019

원인 소프트웨어 결함

IL-0057 EKS 노드의 SNAT 과정에서 conntrack 경합으로 바깥으로 나가는 TCP 연결이 1초나 3초씩 늦어져, 서비스 간 호출이 많은 서비스의 p99 지연이 늘었다.Prezi · 2019

원인 DNS·네트워크 장애

IL-0149 2019-09-28 07:20 UTC 이전에 만든 VMSS 기반 AKS 클러스터의 업그레이드가 PlatformImageNotFound 오류로 실패했다.Microsoft Azure · 2019

원인 배포 결함

IL-0039 CentOS 저장소 재구성으로 kops nodeup 에 하드코딩된 container-selinux 패키지 주소가 깨져 새 워커 노드가 클러스터에 합류하지 못했다FREE NOW · 2019

원인 의존성 장애