Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

기여 요인

기본 설정 방치

Unreviewed defaults · default-config-unchanged

47건 · 2017년부터 2026년

원인 용량 한계17건 설정 변경7건 DNS·네트워크 장애6건 소프트웨어 결함6건 의존성 장애3건 인증서·자격 증명 만료2건 배포 결함2건 하드웨어 고장1건 운영 실수1건 unknown1건 업그레이드로 깨진 호환성1건

구성 요소 쿠버네티스 API 서버8건 kubelet8건 클라이언트 쪽 DNS 리졸버와 캐시7건 etcd7건 노드 풀

증상 서비스 중단14건 DNS 조회 실패9건 지연 시간 증가9건 오류율 상승8건

조직 Adevinta3건 Backpackr2건 DFDS2건 Grafana Labs2건 MindTickle2건

사례

IL-0071 작은 파일이 4만 개 넘게 든 단일 스테이지 이미지의 containerd 스냅샷이 쌓여 워커 노드의 inode 가 디스크보다 빠르게 소진되고 있었다Onkar Raghunath Shelke · 2026
원인 용량 한계
IL-0023 InfiniBand 포트 하나가 한 번 내려갔다 복구되면서 7시간째 돌던 학습 작업이 NCCL 타임아웃으로 죽었다Databricks · 2026
원인 의존성 장애
IL-0183 kubeadm 으로 만든 클러스터의 1년짜리 인증서가 만료되어 kube-apiserver 가 etcd 와 TLS 연결을 맺지 못하고 재시작을 반복했고, 클러스터에 접속할 수 없게 됐다.

그래프에서 보기

7건

인그레스 컨트롤러6건

conntrack 테이블5건

컨테이너 메모리 한도4건

노드 운영체제 이미지4건

AWS VPC CNI4건

어드미션 웹훅3건

클라우드 로드 밸런서3건

클러스터 오토스케일러3건

컨테이너 런타임3건

리눅스 커널3건

VPC 서브넷 또는 파드 주소 범위3건

텔레메트리 에이전트3건

파드용 자격 증명 중개자2건

노드 루트 디스크2건

파드 종료 처리2건

CI 시스템1건

클러스터 대시보드1건

설정 템플릿1건

컨테이너 CPU 한도1건

디스케줄러1건

라이브니스·레디니스 프로브1건

수평 파드 오토스케일러1건

InfiniBand 패브릭1건

잡과 크론잡1건

언어 런타임 설정1건

노드 런치 템플릿1건

NIC·케이블·스위치 포트 링크1건

클러스터 인증 제공자1건

영구 볼륨과 스테이트풀셋1건

정책 엔진1건

서비스 디스커버리1건

Slurm 작업 스케줄러1건

systemd-networkd1건

VPC DNS 리졸버1건

간헐적 타임아웃7건

컨트롤 플레인 무응답6건

프로브 실패6건

모니터링 중단5건

파드 Pending5건

컨테이너 재시작 반복4건

노드 NotReady4건

간헐적 연결 실패3건

IP 주소 고갈3건

오래된 엔드포인트 라우팅3건

무단 접근과 낯선 워크로드3건

배포 실패2건

링크 플래핑2건

NCCL 타임아웃2건

처리량 저하2건

학습 작업 실패2건

부하 불균형2건

노드 증설 실패1건

컨트롤 플레인 지연1건

CPU 스로틀링1건

자격 증명 획득 실패1건

데이터베이스 과부하1건

GPU 인식 불가1건

이미지 풀 실패1건

노드 디스크 가득 참1건

노드 CPU 고부하1건

파드 축출1건

리소스 삭제1건

API 조회 결과 불일치1건

업그레이드 정체1건

UK Ministry of Justice2건

Yonghyun Kim2건

Cisco ThousandEyes1건

DigitalOcean1건

Lotte E-commerce1건

loveholidays1건

Onkar Raghunath Shelke1건

Tetrate (unnamed U.S. federal customer)1건

Toyota Connected1건

ckck803 · 2026

원인 인증서·자격 증명 만료

IL-0188 EKS 롤링 업데이트 때 Kubernetes 는 새 파드가 Ready 가 되자마자 옛 파드를 지웠지만 ALB 는 새 파드를 아직 healthy 로 보지 않아, 배포마다 약 30초 동안 502 가 났다.Yonghyun Kim · 2025

원인 배포 결함

IL-0187 Spring Cloud Config Server 가 잠깐 내려가자 이를 헬스 체크에 포함한 모든 앱의 Liveness Probe 가 실패해 쿠버네티스가 파드를 계속 죽이고 다시 띄우면서 한 계열사 서비스가 마비됐다.Yonghyun Kim · 2025

원인 의존성 장애

IL-0104 Istio 의 공격적인 DNS 캐시 갱신과 클라이언트 포트 재사용, kube-proxy 가 종료된 파드의 conntrack 항목을 정리하지 않는 문제, 2분짜리 UDP conntrack 기본 타임아웃이 겹쳐 CoreDNS 파드가 OOMKilled 됐다.Cisco ThousandEyes · 2025

원인 소프트웨어 결함

IL-0048 대형 EKS 클러스터에서 CoreDNS 가 VPC DNS 리졸버로 보내는 질의가 링크 로컬 트래픽의 초당 1024 패킷 한도에 걸려 DNS 조회가 간헐적으로 타임아웃됐다.unknown · 2025

원인 용량 한계

IL-0006 AWS VPC CNI 가 자원이 찬 노드에 IP 를 붙잡아 두어 us-east-1 서브넷 IP 가 바닥났고, WARM_IP_TARGET 을 바꾼 조치가 파드 시작 실패를 더 오래 끌었다Neon · 2025

원인 용량 한계

IL-0170 설날 이벤트 트래픽이 평소의 3배를 넘자 Istio ingressGateway 가 있는 EKS 노드의 nf_conntrack 테이블이 가득 차 패킷이 버려졌고, 웹과 앱 서비스 전체가 멈췄다.Backpackr · 2025

원인 용량 한계

IL-0027 CoreDNS 파드가 모두 한 노드에 몰린 채 그 노드의 메모리가 고갈되자 DNS 가 응답하지 못해 아이디어스 서비스 전체가 멈췄다Backpackr · 2025

원인 용량 한계

IL-0053 Ingress NGINX Controller의 어드미션 웹훅이 인증 없이 열려 있어, 조작한 Ingress 객체로 NGINX 설정을 주입해 원격 코드를 실행하고 클러스터의 모든 Secret을 읽을 수 있었다Wiz · 2025

원인 소프트웨어 결함

IL-0020 EKS 1.30 업그레이드 중 디스케줄러가 cordon 된 노드의 파드를 한꺼번에 쫓아내 운영 서비스가 멈췄다UK Ministry of Justice · 2025

원인 배포 결함

IL-0103 EKS 노드 AMI 업데이트로 파드가 한꺼번에 다시 뜨자 인증서 요청이 몰린 외부 CA 가 과부하에 걸려 Istio 사이드카가 CrashLoopBackOff 에 빠졌다.Tetrate (unnamed U.S. federal customer) · 2025 · sev1

원인 의존성 장애

IL-0204 Render 프랑크푸르트 클러스터에서 etcd 메모리 급증으로 컨트롤 플레인이 과부하에 걸렸고, 컨트롤 플레인 노드를 재부팅하자 그 위의 CoreDNS 가 다시 뜨지 못해 DNS 가 멈췄다.Render · 2024

원인 용량 한계

IL-0007 EKS 클러스터에서 VPC-CNI 가 파드마다 VPC IP 를 쓰다가 서브넷 IP 가 바닥나 파드가 IP 를 받지 못했다Adevinta · 2024

원인 용량 한계

IL-0046 계획된 재시작 뒤 Prometheus 가 WAL 을 다 읽기 전에 startupProbe 에 걸려 재시작을 반복했고 지표가 빠졌다UK Ministry of Justice · 2024

원인 용량 한계

IL-0128 1만 개 넘는 GPU 로 학습하는 클러스터에서 네트워크 인터페이스가 몇 초씩 끊겼다 붙는 플래핑이 NCCL 타임아웃을 일으켜 학습이 멈추거나 느려졌다.ByteDance · 2024

원인 DNS·네트워크 장애

IL-0065 Argo CD의 Redis 캐시가 기본으로 암호 없이 클러스터 안 모든 파드에 열려 있어, 캐시된 매니페스트를 바꿔치기해 클러스터를 장악할 수 있었다Cycode · 2024

원인 소프트웨어 결함

IL-0153 DOKS 1.27.6-do.0 과 1.28.2-do.0 워커 노드에서 매일 아침 도는 apt 자동 업그레이드가 15분 타임아웃에 걸려 강제 종료되면서 노드 네트워킹이 망가지고, 노드가 사흘 연속 NotReady 가 됐다.DigitalOcean · 2023

원인 설정 변경

IL-0028 쿠버네티스에서 Temporal History 파드가 CPU 사용률이 60% 아래인데도 CPU 스로틀링을 받아 요청 지연이 불안정했다Temporal · 2023

원인 용량 한계

IL-0083 멀티 테넌트 쿠버네티스 클러스터에서 노드 로컬 dnsmasq 가 동시 질의 한도에 걸리고 cluster.local 응답을 캐시하지 못한 데다 ndots 검색 도메인 질의가 CoreDNS 로 몰려, 서비스 간 호출이 간헐적인 5xx 를 냈다.Adevinta · 2023

원인 DNS·네트워크 장애

IL-0195 200개가 넘는 노드의 고객 클러스터에서 Cilium 파드가 LIST 요청을 한꺼번에 쏟아내 kube-apiserver 가 메모리를 다 쓰고 죽기를 되풀이했다.Palark · 2023

원인 용량 한계

IL-0194 kube-apiserver 재시작 뒤 Vector DaemonSet 의 파드 list 요청이 한꺼번에 몰려 etcd 메모리가 세 배 가까이 늘고 마스터 노드가 연쇄적으로 재시작했다.Palark · 2023

원인 용량 한계

IL-0198 systemd 보안 패치가 Ubuntu 22.04 노드의 systemd-networkd 를 재시작해 Cilium 이 넣은 IP 규칙을 지웠고, 여러 리전과 세 클라우드의 Kubernetes 노드가 한꺼번에 네트워크를 잃었다.Datadog · 2023

원인 업그레이드로 깨진 호환성

IL-0109 로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다.DFDS · 2023 · sev1

원인 설정 변경

IL-0178 EKS 에서 HPA 가 파드를 줄일 때 엔드포인트 제거보다 컨테이너 종료가 먼저 끝나 502 가 났고, 블루/그린 전환 뒤에는 conntrack 에 남은 연결이 삭제된 파드로 가서 클라이언트가 타임아웃을 받았다.Lotte E-commerce · 2022

원인 DNS·네트워크 장애

IL-0191 Loki distributor 서비스에 레이블 셀렉터가 하나 더 들어가 롤아웃 중 새 파드 몇 개에만 쓰기 트래픽이 몰렸고, 그 파드들이 OOM으로 죽으면서 로그 쓰기 경로가 약 25분간 멈췄다.Grafana Labs · 2022

원인 설정 변경

IL-0107 오래된 Kyverno 가 서드파티 인증서 체인 만료로 크래시 루프에 빠졌고, failurePolicy 가 fail 인 웹훅이 응답하지 않아 Service 리소스의 생성, 수정, 삭제가 88분 동안 막혔다.DFDS · 2022

원인 인증서·자격 증명 만료

IL-0125 Jean Zay 에서 진행한 176B 다국어 모델 학습에서 GPU 가 고장 나도 학습 작업이 끝나지 않고 멈춰 버려 SLURM 이 작업을 자동으로 재시작하지 못했다.BigScience · 2022

원인 하드웨어 고장

IL-0056 kops 에서 EKS 로 옮긴 뒤 AWS VPC CNI 의 SNAT 때문에 파드에서 다른 VPC 의 NLB 뒤 서비스로 가는 호출이 간헐적으로 실패했다MindTickle · 2020

원인 DNS·네트워크 장애

IL-0190 쿠버네티스 업그레이드로 etcd 리더가 있던 노드가 갑자기 종료된 뒤, Cortex distributor 두 개가 옛 리더와 맺은 TCP 연결이 멈춘 채 그 연결을 계속 써서 런던 리전 Hosted Prometheus 쓰기가 12분 동안 일부 실패했다.Grafana Labs · 2020

원인 소프트웨어 결함

IL-0015 GKE 가 노드마다 IP 256개를 미리 잡아 /16 파드 주소 범위가 바닥나고 노드 증설과 배포가 멈췄다loveholidays · 2020

원인 용량 한계

IL-0033 kube-dns 파드 사이의 트래픽 불균형과 DNS 초당 패킷 한도 때문에 외부 DNS 조회가 많은 여러 서비스의 지연 시간이 20초까지 늘었다Airbnb · 2019

원인 용량 한계

IL-0189 KIAM 이 준 15분짜리 AWS 자격 증명 때문에 쿠버네티스로 옮긴 Java 서비스가 요청마다 메타데이터 API 를 불러 지연이 최대 10배 늘었다.Adevinta · 2019

원인 설정 변경

IL-0057 EKS 노드의 SNAT 과정에서 conntrack 경합으로 바깥으로 나가는 TCP 연결이 1초나 3초씩 늦어져, 서비스 간 호출이 많은 서비스의 p99 지연이 늘었다.Prezi · 2019

원인 DNS·네트워크 장애

IL-0047 conntrack 경합으로 DNS 조회가 5초씩 늦어져 파드 사이 요청이 간헐적으로 5초, 10초, 15초씩 지연되었다.MindTickle · 2019

원인 DNS·네트워크 장애

IL-0002 빌더 파드가 노드 한 대에 몰리자 kubelet 이 기본 API QPS 한도에 막혀 파드 상태를 늦게 갱신했고, CI 빌드가 AWS IAM 자격 증명을 받지 못해 실패했다Zalando · 2019

원인 용량 한계

IL-0076 dex의 AuthRequest 리소스가 끝없이 쌓였고, 이를 치우려고 네임스페이스를 지우자 목록 조회 타임아웃과 재시도가 반복되며 쿠버네티스 마스터가 내려갔다Fullstaq · 2019

원인 용량 한계

IL-0052 인증 없이 인터넷에 열린 Weave Scope 대시보드를 통해 암호화폐 채굴기가 개발 클러스터와 스테이징 클러스터의 모든 노드에서 돌았다.JW Player · 2019

원인 설정 변경

IL-0035 ElastAlert 에 새로 넣은 알림 규칙 때문에 ElastAlert 파드가 메모리를 끝없이 써서 노드가 잇달아 NotReady 가 되었고, 같은 클러스터의 도구와 Grafana, Prometheus 가 함께 흔들렸다.NU.nl · 2019

원인 설정 변경

IL-0054 GKE 에서 옛 노드 풀을 드레인하자 로드밸런서가 ingress-nginx 파드가 없는 새 노드만 가리켜 클러스터의 모든 인그레스 트래픽이 끊겼다DevOps Hof · 2019

원인 운영 실수

IL-0001 CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다Zalando · 2019

원인 용량 한계

IL-0059 kubeadm이 만든 etcd 정적 파드의 liveness probe가 실패해 kubelet이 약 2분마다 etcd를 재시작했고, 단일 마스터 클러스터의 API 서버가 계속 끊겼다NRE Labs · 2018

원인 unknown

IL-0050 ndots:5, Alpine 의 musl 리졸버, Netty 4.1.30 의 DNS 처리 문제가 겹쳐 쿠버네티스 서비스가 클러스터 밖 Redis 호스트 이름을 반복해서 해석하지 못했다Toyota Connected · 2018

원인 소프트웨어 결함

IL-0055 실패하는 CronJob 이 기본 concurrencyPolicy 때문에 겹겹이 쌓여 재시작하는 파드가 수천 개로 늘었고 클러스터가 내려갔다Target · 2018

원인 설정 변경

IL-0072 etcd 쓰기 지연으로 API 서버가 오래된 데이터를 읽어 클러스터 상태가 두 가지로 번갈아 보였고, 주 운영 클러스터 전체가 약 4시간 멈췄다Nordstrom · 2017

원인 소프트웨어 결함

IL-0040 비운영 쿠버네티스 클러스터에 Helm 차트를 한꺼번에 설치하자 작은 gp2 루트 볼륨의 IOPS 가 바닥나, 워커 노드 세 대에서 kubelet 이나 Docker 가 내려가 세 대 모두 NotReady 가 됐다Saltside · 2017

원인 용량 한계