Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

기여 요인

과도한 영향 범위

Excessive blast radius · blast-radius-too-wide

32건 · 2017년부터 2026년

원인 설정 변경11건 용량 한계7건 소프트웨어 결함5건 배포 결함3건 클라우드 제공자 장애2건 의존성 장애2건 자격 증명 유출1건 업그레이드로 깨진 호환성1건

구성 요소 애플리케이션 데이터베이스5건 인그레스 컨트롤러5건 쿠버네티스 API 서버5건 클라우드 로드 밸런서4건

증상 서비스 중단14건 오류율 상승10건 노드 NotReady6건 컨트롤 플레인 무응답5건

조직 OpenAI3건 2i2c2건 DFDS2건 Microsoft Azure2건 Zalando2건

사례

IL-0179 DEBUG 로그가 쏟아지자 동기 로깅을 하던 요청 스레드들이 가득 찬 stdout 파이프에서 멈춘 채 DB 커넥션을 쥐고 있어, HikariCP 커넥션 풀이 고갈되고 요청이 30초 주기로 한꺼번에 실패했다.MUSINSA · 2026
원인 설정 변경
IL-0069 공격자가 탈취한 서비스 어카운트 토큰으로 운영 쿠버네티스 클러스터에서 클라우드 백엔드와 금융 인프라까지 옮겨 가 암호화폐 거래소의 자금을 훔쳤다.Unnamed cryptocurrency exchange · 2026
원인 자격 증명 유출
IL-0187 Spring Cloud Config Server 가 잠깐 내려가자 이를 헬스 체크에 포함한 모든 앱의 Liveness Probe 가 실패해 쿠버네티스가 파드를 계속 죽이고 다시 띄우면서 한 계열사 서비스가 마비됐다.

그래프에서 보기

컨테이너 메모리 한도4건

텔레메트리 에이전트4건

어드미션 웹훅3건

설정 템플릿2건

컨테이너 런타임2건

클라이언트 쪽 DNS 리졸버와 캐시2건

컨테이너 레지스트리와 자격 증명2건

서비스 디스커버리2건

AKS 컨트롤 플레인1건

클러스터 대시보드1건

conntrack 테이블1건

파드용 자격 증명 중개자1건

GKE 컨트롤 플레인1건

라이브니스·레디니스 프로브1건

잡과 크론잡1건

쿠버네티스 컨트롤러 매니저1건

애플리케이션 로깅 라이브러리1건

모델 요청 라우팅1건

NAT 게이트웨이1건

노드 운영체제 이미지1건

파드 스케줄링과 배치1건

RBAC 와 서비스 어카운트1건

리소스 삭제5건

지연 시간 증가4건

모니터링 중단4건

무단 접근과 낯선 워크로드4건

컨테이너 재시작 반복3건

프로브 실패3건

DNS 조회 실패2건

이미지 풀 실패2건

간헐적 타임아웃2건

노드 CPU 고부하2건

노드 재생성 반복2건

파드 Pending2건

파드 축출2건

커넥션 풀 고갈1건

연결 리셋1건

자격 증명 획득 실패1건

데이터 유실1건

데이터베이스 과부하1건

간헐적 연결 실패1건

부하 불균형1건

업그레이드 정체1건

DigitalOcean1건

Google Cloud1건

Grafana Labs1건

UK Ministry of Justice1건

Unnamed cryptocurrency exchange1건

Yonghyun Kim1건

Yonghyun Kim · 2025

원인 의존성 장애

IL-0122 여러 핵심 서비스가 함께 읽는 설정에 잘못된 값이 들어가 ChatGPT 파드가 크래시 루프에 빠졌다OpenAI · 2025

원인 설정 변경

IL-0121 우선순위 낮은 워크로드를 관리하는 컨트롤 플레인 클러스터에 잘못된 코드가 배포되어, 그 클러스터가 함께 관리하던 운영 추론 워크로드가 망가졌다OpenAI · 2025

원인 배포 결함

IL-0053 Ingress NGINX Controller의 어드미션 웹훅이 인증 없이 열려 있어, 조작한 Ingress 객체로 NGINX 설정을 주입해 원격 코드를 실행하고 클러스터의 모든 Secret을 읽을 수 있었다Wiz · 2025

원인 소프트웨어 결함

IL-0192 Crossplane 컴포지션의 병합 정책 변경이 Service 타입을 ClusterIP 로 바꿔 클라우드 로드 밸런서가 지워지고 Grafana Cloud 서비스의 약 25%가 끊겼다.Grafana Labs · 2025

원인 설정 변경

IL-0118 쿠버네티스 네임스페이스 라벨을 전역으로 바꾸자 네트워크 계층이 메타데이터를 다시 계산하면서 가장 큰 GPU 클러스터들 가운데 세 곳의 컨트롤 플레인이 과부하에 빠졌고, ChatGPT 와 API 가 타임아웃과 503 오류를 냈다.OpenAI · 2024

원인 설정 변경

IL-0110 Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다.DFDS · 2024

원인 용량 한계

IL-0152 정비 작업 중 FRA1 내부 인프라 클러스터에 잘못된 설정이 들어가 그 위에서 돌던 DOKS 클러스터 200개의 컨트롤 플레인이 자동으로 삭제됐다.DigitalOcean · 2024

원인 설정 변경

IL-0065 Argo CD의 Redis 캐시가 기본으로 암호 없이 클러스터 안 모든 파드에 열려 있어, 캐시된 매니페스트를 바꿔치기해 클러스터를 장악할 수 있었다Cycode · 2024

원인 소프트웨어 결함

IL-0145 Australia East 의 전압 강하로 냉각기가 멈춰 데이터 홀 장비가 꺼지면서, 영역 중복이 아닌 AKS 작업 큐 데이터베이스가 내려가 두 리전의 AKS 생성, 수정, 삭제 작업이 막혔다Microsoft Azure · 2023

원인 클라우드 제공자 장애

IL-0091 Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되어 사용자 운영 파드가 모두 지워지고 서비스가 내려갔다UK Ministry of Justice · 2023

원인 설정 변경

IL-0070 dask-gateway로 워커를 대량으로 띄우자 노드가 1분 만에 100대 늘었고, Prometheus가 메모리를 거의 다 쓰던 코어 노드에서 hub 파드를 비롯한 중요한 파드들이 축출되거나 재시작됐다2i2c · 2023

원인 용량 한계

IL-0177 다른 팀의 설정 배포로 공유 L7 HAProxy 가 재로드될 때마다 messaging-hub 의 웹소켓 연결이 한꺼번에 끊겼다.LINE+ · 2022

원인 설정 변경

IL-0144 Ubuntu 18.04 의 systemd 보안 업데이트가 DNS 설정을 날려 AKS 노드의 kubelet 이 레지스트리 이름을 해석하지 못하고 파드가 ImagePullBackoff 에 빠졌다.Microsoft Azure · 2022

원인 업그레이드로 깨진 호환성

IL-0132 잘못된 리소스 정리 작업이 Vertex AI 예측 엔드포인트를 전역에서 삭제된 것으로 표시해 고객 모델이 내려가고 예측 요청이 4시간 넘게 실패했다.Google Cloud · 2022

원인 소프트웨어 결함

IL-0106 잘못된 IngressRoute 매니페스트가 Traefik v2 버그를 건드려 Traefik 파드가 모두 재시작된 뒤 Kubernetes 의 모든 서비스가 404 를 냈다DFDS · 2021

원인 소프트웨어 결함

IL-0010 템플릿 중괄호가 빠진 설정 변경으로 ArgoCD 가 전 세계 모든 클러스터의 서비스를 지웠다Skyscanner · 2021

원인 설정 변경

IL-0086 테스트 Kubernetes 클러스터용 배포가 운영 클러스터의 Traefik 과 Calico 리소스까지 지워 CircleCI UI 와 runner.circleci.com 이 1시간 54분 동안 내려갔다.CircleCI · 2021

원인 배포 결함

IL-0172 AWS 도쿄 리전 한 AZ 의 냉각 장애로 쿠버네티스 위에서 돌던 CockroachDB 노드 60대 중 6대가 22분 만에 죽었고, AZ 토폴로지 설정이 없어 일부 Range 가 정족수를 잃었다.Devsisters · 2021

원인 클라우드 제공자 장애

IL-0094 JupyterHub 클러스터에서 학생 파드가 노드의 CPU 와 메모리를 다 써서 자원 보장이 부족했던 코어 파드가 자원을 얻지 못했고, 허브 전체가 멈췄다.2i2c · 2020

원인 용량 한계

IL-0034 메트릭 에이전트 사이드카가 업그레이드 중 크래시하자 클러스터의 모든 파드가 준비되지 않은 상태가 되어 서비스가 트래픽을 받지 못했다Airbnb · 2019

원인 배포 결함

IL-0008 응답하지 않는 OPA 검증 웹훅 때문에 GKE 마스터 업그레이드가 멈추고 API 서버가 간헐적으로 끊기면서 노드가 끝없이 재생성됐다Jetstack · 2019

원인 설정 변경

IL-0037 imagePullPolicy가 Always인 DaemonSet이 크래시 루프를 돌며 이미지를 계속 받아, NAT 세 대를 같이 쓰던 리전 전체가 이미지 레지스트리에서 429로 막혔다Datadog · 2019

원인 용량 한계

IL-0052 인증 없이 인터넷에 열린 Weave Scope 대시보드를 통해 암호화폐 채굴기가 개발 클러스터와 스테이징 클러스터의 모든 노드에서 돌았다.JW Player · 2019

원인 설정 변경

IL-0035 ElastAlert 에 새로 넣은 알림 규칙 때문에 ElastAlert 파드가 메모리를 끝없이 써서 노드가 잇달아 NotReady 가 되었고, 같은 클러스터의 도구와 Grafana, Prometheus 가 함께 흔들렸다.NU.nl · 2019

원인 설정 변경

IL-0073 Kafka 연결이 끊기자 로깅 사이드카가 Docker 데몬에 부하를 주어 노드가 줄줄이 비정상이 되었고, 재스케줄링으로 생긴 노드 약 41,000개가 Consul gossip 메시를 오염시켜 Vault 와 배포 엔진까지 멈췄다Target · 2019 · sev1

원인 의존성 장애

IL-0001 CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다Zalando · 2019

원인 용량 한계

IL-0031 API 서버가 OOMKill로 죽자 Skipper 인그레스가 라우트를 잃었고, 고객 트래픽이 끊기며 IAM 서비스에서 404 오류가 났다Zalando · 2018

원인 용량 한계

IL-0038 kubelet 설정 변경을 롤링 업데이트하다 쿠버네티스 버그로 kubelet 이 올라오지 못해 한 클러스터의 노드가 NotReady 가 되고 파드 절반쯤이 축출됐다Oath · 2018

원인 소프트웨어 결함

IL-0036 재시도를 멈추지 않는 쿠버네티스 Job 이 노드 자원을 다 써 버려 클러스터의 노드가 차례로 죽고 검색과 리포트가 멈췄다.Universe · 2017

원인 용량 한계