Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

기여 요인

미검증 가정

Unverified assumption · assumption-unverified

35건 · 2017년부터 2026년

원인 설정 변경9건 소프트웨어 결함8건 용량 한계6건 배포 결함3건 클라우드 제공자 장애2건 DNS·네트워크 장애2건 운영 실수2건 의존성 장애1건 unknown1건 업그레이드로 깨진 호환성1건

구성 요소 텔레메트리 에이전트6건 애플리케이션 데이터베이스5건 인그레스 컨트롤러5건 클라우드 로드 밸런서4건

증상 서비스 중단15건 오류율 상승8건 지연 시간 증가8건 간헐적 연결 실패6건

조직 2i2c2건 DFDS2건 Grafana Labs2건 Palark2건 Adevinta1건

사례

IL-0179 DEBUG 로그가 쏟아지자 동기 로깅을 하던 요청 스레드들이 가득 찬 stdout 파이프에서 멈춘 채 DB 커넥션을 쥐고 있어, HikariCP 커넥션 풀이 고갈되고 요청이 30초 주기로 한꺼번에 실패했다.MUSINSA · 2026
원인 설정 변경
IL-0058 Argo CD 에서 여러 앱이 함께 선언한 네임스페이스가 force 동기화로 지워져 앱 약 97개가 Missing/OutOfSync 상태에서 빠져나오지 못했다.Argo CD users · 2026
원인 소프트웨어 결함
IL-0097 cluster autoscaler 버전을 올린 뒤 Kubernetes 1.33 에 남아 있던 클러스터에서 스케일업이 일어나지 않아 새 노드가 만들어지지 않았다

그래프에서 보기

영구 볼륨과 스테이트풀셋4건

GPU 드라이버3건

컨테이너 메모리 한도3건

AWS VPC CNI3건

클러스터 오토스케일러2건

설정 템플릿2건

컨테이너 런타임2건

클라이언트 쪽 DNS 리졸버와 캐시2건

쿠버네티스 API 서버2건

리눅스 커널2건

노드 운영체제 이미지2건

파드 스케줄링과 배치2건

파드 종료 처리2건

어드미션 웹훅1건

인메모리 캐시1건

CI 시스템1건

컨피그맵과 시크릿1건

conntrack 테이블1건

컨테이너 CPU 한도1건

Elasticsearch 와 OpenSearch1건

GKE 컨트롤 플레인1건

수평 파드 오토스케일러1건

InfiniBand 패브릭1건

잡과 크론잡1건

애플리케이션 로깅 라이브러리1건

Multus 메타 CNI1건

노드 루트 디스크1건

서비스 디스커버리1건

공유 네트워크 파일 시스템1건

VPC 서브넷 또는 파드 주소 범위1건

학습 데이터 로더1건

노드 NotReady5건

DNS 조회 실패3건

GPU 인식 불가3건

노드 CPU 고부하3건

프로브 실패3건

리소스 삭제3건

컨트롤 플레인 지연2건

컨트롤 플레인 무응답2건

데이터 유실2건

노드 재생성 반복2건

파드 Pending2건

처리량 저하2건

오토스케일러 오동작1건

노드 증설 실패1건

커넥션 풀 고갈1건

연결 리셋1건

CPU 스로틀링1건

데이터베이스 과부하1건

배포 실패1건

파일 디스크립터 고갈1건

간헐적 타임아웃1건

링크 플래핑1건

NCCL 타임아웃1건

IP 주소 고갈1건

스플릿 브레인1건

오래된 엔드포인트 라우팅1건

학습 작업 실패1건

부하 불균형1건

AdGuard VPN1건

Argo CD users1건

Civis Analytics1건

Hugging Face1건

Toyota Connected1건

Yonghyun Kim1건

2i2c · 2026

원인 업그레이드로 깨진 호환성

IL-0160 고쳐서 다시 돌린 레거시 GPU 모니터링 스크립트의 펌웨어 조회가 GSP 레이스 컨디션을 일으켜 Linode 의 RTX 4000 Ada GPU 가 잠기고 LKE 워커 노드의 GPU 작업이 멈췄다Linode · 2026

원인 배포 결함

IL-0063 Redis 스테이트풀셋을 다시 만들자 Redis 클러스터가 한꺼번에 재시작되며 일부가 망가졌고, 재연결 폭주로 백엔드가 OOM 으로 죽어 AdGuard VPN 이 약 50분 멈췄다.AdGuard VPN · 2025

원인 설정 변경

IL-0188 EKS 롤링 업데이트 때 Kubernetes 는 새 파드가 Ready 가 되자마자 옛 파드를 지웠지만 ALB 는 새 파드를 아직 healthy 로 보지 않아, 배포마다 약 30초 동안 502 가 났다.Yonghyun Kim · 2025

원인 배포 결함

IL-0129 SmolLM3 사전 학습에서 공유 Weka 스토리지가 데이터셋 샤드를 S3 로 내보내고 Nanotron 데이터로더의 인덱스가 스텝마다 커지면서, 학습을 시작한 지 몇 시간 만에 처리량이 거듭 급락했다.Hugging Face · 2025

원인 용량 한계

IL-0171 Bottlerocket AMI 에 libdcgm.so 가 없어 GPU 노드의 AcceleratedHardwareReady 가 False 가 됐고, Karpenter 노드 자동 복구가 Ready 뒤 10~11분마다 GPU 노드를 교체하는 일을 끝없이 되풀이했다.Inflab · 2025

원인 소프트웨어 결함

IL-0006 AWS VPC CNI 가 자원이 찬 노드에 IP 를 붙잡아 두어 us-east-1 서브넷 IP 가 바닥났고, WARM_IP_TARGET 을 바꾼 조치가 파드 시작 실패를 더 오래 끌었다Neon · 2025

원인 용량 한계

IL-0192 Crossplane 컴포지션의 병합 정책 변경이 Service 타입을 ClusterIP 로 바꿔 클라우드 로드 밸런서가 지워지고 Grafana Cloud 서비스의 약 25%가 끊겼다.Grafana Labs · 2025

원인 설정 변경

IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024

원인 의존성 장애

IL-0083 멀티 테넌트 쿠버네티스 클러스터에서 노드 로컬 dnsmasq 가 동시 질의 한도에 걸리고 cluster.local 응답을 캐시하지 못한 데다 ndots 검색 도메인 질의가 CoreDNS 로 몰려, 서비스 간 호출이 간헐적인 5xx 를 냈다.Adevinta · 2023

원인 DNS·네트워크 장애

IL-0087 RKE2 클러스터 노드를 재부팅한 뒤 Multus 가 쿠버네티스 API 에 닿지 못해 파드가 IP 를 받지 못했고, 같은 장애가 모든 노드로 번져 전체 서비스가 멈췄다.Fyra Labs · 2023

원인 unknown

IL-0177 다른 팀의 설정 배포로 공유 L7 HAProxy 가 재로드될 때마다 messaging-hub 의 웹소켓 연결이 한꺼번에 끊겼다.LINE+ · 2022

원인 설정 변경

IL-0209 웹 파드의 HPA CPU 목표값이 너무 높아 트래픽을 넘겨받는 동안 파드가 늘지 않았고, GitLab.com 웹 지연 SLO 가 약 15분 동안 깨졌다.GitLab · 2021

원인 설정 변경

IL-0105 VPC CNI 교체로 ALB 에서 타깃 그룹이 떨어져 나가 쿠버네티스 클러스터의 모든 서비스가 503 을 냈다DFDS · 2021

원인 설정 변경

IL-0197 Elasticsearch StatefulSet 을 새 퍼시스턴트 볼륨으로 옮기던 중 빈 볼륨으로 다시 뜬 elasticsearch-0 이 혼자 새 클러스터를 만들어 스플릿 브레인이 났다.Palark · 2021

원인 운영 실수

IL-0172 AWS 도쿄 리전 한 AZ 의 냉각 장애로 쿠버네티스 위에서 돌던 CockroachDB 노드 60대 중 6대가 22분 만에 죽었고, AZ 토폴로지 설정이 없어 일부 Range 가 정족수를 잃었다.Devsisters · 2021

원인 클라우드 제공자 장애

IL-0108 워크숍 중 운영 클러스터에 적용한 Alcide admission 컨트롤러 때문에 Deployment 생성과 수정이 타임아웃되었다DFDS · 2020

원인 설정 변경

IL-0094 JupyterHub 클러스터에서 학생 파드가 노드의 CPU 와 메모리를 다 써서 자원 보장이 부족했던 코어 파드가 자원을 얻지 못했고, 허브 전체가 멈췄다.2i2c · 2020

원인 용량 한계

IL-0029 CPU 한도를 건 컨테이너가 사용량이 한도에 한참 못 미치는데도 스로틀링되어 사용자 대면 서비스의 지연 시간이 늘었다.Buffer · 2020

원인 소프트웨어 결함

IL-0056 kops 에서 EKS 로 옮긴 뒤 AWS VPC CNI 의 SNAT 때문에 파드에서 다른 VPC 의 NLB 뒤 서비스로 가는 호출이 간헐적으로 실패했다MindTickle · 2020

원인 DNS·네트워크 장애

IL-0196 Redis Operator 로 레플리카를 늘리면서 메모리 한도를 낮추자 데이터를 가진 유일한 Redis 파드가 재시작됐고, Sentinel 이 빈 레플리카를 마스터로 올려 데이터가 모두 지워졌다.Palark · 2020

원인 소프트웨어 결함

IL-0193 GCP SSD 영구 디스크 장애로 Cassandra 파드가 볼륨을 붙이지 못했고, OrderedReady 정책 때문에 나머지 파드도 다시 뜨지 못한 데다 Metrictank 가 바뀐 Cassandra IP 로 다시 연결하지 못해, Grafana Cloud Graphite 쿼리 일부가 최대 23시간 실패했다.Grafana Labs · 2019

원인 클라우드 제공자 장애

IL-0034 메트릭 에이전트 사이드카가 업그레이드 중 크래시하자 클러스터의 모든 파드가 준비되지 않은 상태가 되어 서비스가 트래픽을 받지 못했다Airbnb · 2019

원인 배포 결함

IL-0062 GKE Ingress 뒤의 파드가 SIGTERM 을 받자마자 새 연결을 받지 않고 정상 종료해서 API 에 가끔 502 오류가 났다Ravelin · 2019

원인 소프트웨어 결함

IL-0061 Terraform 상태 파일이 리뷰 빌드에서 바뀐 데다 권한 차이까지 겹쳐 Terraform 이 운영 GKE 클러스터 세 개 중 두 개를 삭제했다Spotify · 2019

원인 설정 변경

IL-0066 ConfigMap 만 바꾸고 디플로이먼트는 그대로 둔 탓에 잘못된 설정이 몇 주 뒤 노드 교체 때 모든 브리지 파드에 퍼져 Pusher 의 모든 트래픽이 끊겼다Pusher · 2019

원인 설정 변경

IL-0011 HAProxy 인그레스 템플릿이 백엔드 파드를 IP 순으로 정렬해 일부 파드에 요청이 몰리고 인그레스 컨테이너가 OOMKilled 됐다Skyscanner · 2019

원인 소프트웨어 결함

IL-0054 GKE 에서 옛 노드 풀을 드레인하자 로드밸런서가 ingress-nginx 파드가 없는 새 노드만 가리켜 클러스터의 모든 인그레스 트래픽이 끊겼다DevOps Hof · 2019

원인 운영 실수

IL-0064 CPU 를 많이 쓰는 파드가 Google Cloud 노드 하나에 몰려 노드가 커널 패닉으로 죽었고, 다시 배치된 파드가 다음 노드를 또 죽이며 웹사이트와 API 가 멈췄다.Moonlight · 2019

원인 용량 한계

IL-0075 클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다.Civis Analytics · 2019

원인 용량 한계

IL-0050 ndots:5, Alpine 의 musl 리졸버, Netty 4.1.30 의 DNS 처리 문제가 겹쳐 쿠버네티스 서비스가 클러스터 밖 Redis 호스트 이름을 반복해서 해석하지 못했다Toyota Connected · 2018

원인 소프트웨어 결함

IL-0051 외부 업체의 로그 클라이언트가 새 컨테이너가 뜰 때마다 파일 디스크립터를 다시 열고 이전 것을 닫지 않아 쿠버네티스 노드가 too many open files 로 내려갔다thredUP · 2018

원인 소프트웨어 결함

IL-0036 재시도를 멈추지 않는 쿠버네티스 Job 이 노드 자원을 다 써 버려 클러스터의 노드가 차례로 죽고 검색과 리포트가 멈췄다.Universe · 2017

원인 용량 한계