Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

구성 요소

노드 풀

Node pool · node-pool

36건 · 2018년부터 2026년

원인 용량 한계11건 설정 변경6건 배포 결함5건 소프트웨어 결함4건 클라우드 제공자 장애3건 인증서·자격 증명 만료2건 의존성 장애2건 운영 실수2건 업그레이드로 깨진 호환성1건

기여 요인 기본 설정 방치7건 자동화 증폭5건 한계 경보 부재5건 단일 장애점5건

증상 서비스 중단15건 노드 증설 실패9건 파드 Pending8건 DNS 조회 실패5건

조직 UK Ministry of Justice6건 Linode5건 2i2c4건 loveholidays3건 Backpackr

사례, 심각도 순

IL-0101 자동 업그레이드를 꺼 둔 GKE 클러스터의 컨트롤 플레인이 지원 종료 기한에 1.33.2 로 강제 업그레이드된 뒤 새 노드가 모두 초기화에 실패해, 오토스케일링과 스팟 노드 복구가 15시간 멈췄다.Wealthy · 2025 · sev1
원인 업그레이드로 깨진 호환성
IL-0109 로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다.DFDS · 2023 · sev1
원인 설정 변경
IL-0102 배포와 워커 오토스케일링 폭주가 겹치자 크기를 고정해 둔 CoreDNS 가 메모리 한도를 넘겨 재시작된 뒤 회복하지 못했고, Buildkite 사이트 전체가 약 30분 멈췄다.

그래프에서 보기

모니터링 사각지대4건

여유 용량 부재4건

스테이징 불일치4건

과도한 영향 범위3건

한계 미인지3건

설정 테스트 부재3건

장애 중첩3건

미검증 가정2건

디버그 접근 제한2건

리소스 요청과 한도 미설정2건

런북 부재2건

재시도 폭주2건

롤백 무효2건

미뤄 둔 업그레이드2건

피크 시간 변경1건

설정 내 자격 증명1건

초기 신호 무시1건

캐시로 가려진 장애1건

수동 조치 악화1건

캐시 부재1건

용량 계획 부재1건

파괴적 변경 보호 장치 부재1건

단계적 배포 부재1건

온콜 호출 미전달1건

리뷰 누락1건

공용 자격 증명1건

자동 테스트 공백1건

버전 미고정1건

파드 축출5건

업그레이드 정체5건

오류율 상승4건

지연 시간 증가4건

IP 주소 고갈4건

오토스케일러 오동작3건

간헐적 타임아웃3건

노드 NotReady3건

컨테이너 재시작 반복2건

자격 증명 획득 실패2건

배포 실패2건

이미지 풀 실패2건

간헐적 연결 실패2건

모니터링 중단2건

노드 CPU 고부하2건

파드 ContainerCreating 정체2건

클러스터·노드 생성 정체1건

연결 리셋1건

컨트롤 플레인 지연1건

컨트롤 플레인 무응답1건

데이터베이스 과부하1건

GPU 인식 불가1건

노드 디스크 가득 참1건

프로브 실패1건

리소스 삭제1건

API 조회 결과 불일치1건

1건

CoW Protocol1건

DigitalOcean1건

Google Cloud1건

Grafana Labs1건

Microsoft Azure1건

Webhook Relay1건

Buildkite · 2026

원인 용량 한계

IL-0155 NYC1 의 일부 DOKS 클러스터에서 공유 CPU 노드 위의 CoreDNS 때문에 DNS 가 간헐적으로 실패하고 NodeNotReady 가 났다DigitalOcean · 2026

원인 용량 한계

IL-0166 컴퓨트 호스트 업데이트로 StackScript 해독에 쓰는 credential parser 가 빠져 새로 만든 LKE 노드가 부팅하지 못했다Linode · 2026

원인 배포 결함

IL-0158 자격 증명이 만료돼 인증이 실패하면서 모든 리전에서 LKE 와 LKE-E 의 클러스터와 노드를 배포할 수 없었고, 노드 재생성과 오토스케일링도 막혔다.Linode · 2026

원인 인증서·자격 증명 만료

IL-0100 노드가 파드의 CPU 요청에 비해 작아 CPU 가 포화되면서 PostHog 기능 플래그 서비스에 열흘 사이 장애가 세 번 났다.PostHog · 2025

원인 용량 한계

IL-0147 AKS 202508 노드 이미지가 캐시되지 않은 쿠버네티스 바이너리를 받을 때 HTTP 프록시 설정을 쓰지 않아, 프록시 뒤에 있는 노드의 프로비저닝이 CSE 종료 코드 31 로 실패했다.Microsoft · 2025

원인 소프트웨어 결함

IL-0082 EKS 노드 교체 중 CoreDNS 파드 하나가 종료되자 남은 CoreDNS 파드가 늘어난 부하를 버티지 못해 DNS 조회가 느려지고 타임아웃이 났다.RebelMouse · 2025

원인 용량 한계

IL-0099 메모리 상한 없이 8GB 만 보장한 프로필 때문에 워크숍 중 사용자 파드가 서로를 축출해 서버 시작이 15분을 넘고 커널이 죽었다.2i2c · 2025

원인 용량 한계

IL-0078 EKS 업그레이드 중 Terraform 으로 KMS 시크릿 암호화를 켜자 워커 노드의 IAM 권한이 빠져 운영 ZenML Pro 워크스페이스에 모두 접속할 수 없게 됐다ZenML · 2025

원인 소프트웨어 결함

IL-0027 CoreDNS 파드가 모두 한 노드에 몰린 채 그 노드의 메모리가 고갈되자 DNS 가 응답하지 못해 아이디어스 서비스 전체가 멈췄다Backpackr · 2025

원인 용량 한계

IL-0020 EKS 1.30 업그레이드 중 디스케줄러가 cordon 된 노드의 파드를 한꺼번에 쫓아내 운영 서비스가 멈췄다UK Ministry of Justice · 2025

원인 배포 결함

IL-0161 앞선 API 업데이트가 의도대로 동작하지 않아 토론토 데이터센터에서 새 LKE 클러스터 프로비저닝이 타임아웃으로 사흘 넘게 실패했다.Linode · 2024

원인 소프트웨어 결함

IL-0114 클러스터 용량을 늘리던 중 버전이 고정되지 않은 VPC CNI 플러그인이 자동으로 업데이트돼 새 파드가 IP 를 받지 못하고 Pending 에 머물렀고, 메인넷 운영 환경의 정산이 약 3.5시간 멈췄다.CoW Protocol · 2024

원인 설정 변경

IL-0021 GKE 의 COS 노드가 NVIDIA GPU 드라이버를 403 Forbidden 으로 받지 못해 새로 만든 GPU 노드를 쓸 수 없었다Google Cloud · 2024

원인 의존성 장애

IL-0019 EKS 모듈 18 업그레이드로 새 노드의 디스크가 20Gb 로 줄어 이미지 풀이 no space left on device 로 실패했다UK Ministry of Justice · 2023

원인 설정 변경

IL-0016 네임스페이스와 규칙이 늘어 live 클러스터의 Prometheus 가 메모리 부족으로 OOMKilled 되며 플랫폼 모니터링이 끊겼다UK Ministry of Justice · 2023

원인 용량 한계

IL-0017 live 클러스터 노드 6대에서 VPC CNI 가 IP 주소를 할당하지 못해 새 파드가 ContainerCreating 에 멈췄다UK Ministry of Justice · 2023

원인 설정 변경

IL-0091 Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되어 사용자 운영 파드가 모두 지워지고 서비스가 내려갔다UK Ministry of Justice · 2023

원인 설정 변경

IL-0163 자동 테스트가 잡지 못한 API 변경이 배포돼 LKE 클러스터 크기를 바꿀 때 노드가 잘못된 수만큼 만들어졌고, 고객 계정에 과금되는 노드가 늘었다Linode · 2023

원인 배포 결함

IL-0070 dask-gateway로 워커를 대량으로 띄우자 노드가 1분 만에 100대 늘었고, Prometheus가 메모리를 거의 다 쓰던 코어 노드에서 hub 파드를 비롯한 중요한 파드들이 축출되거나 재시작됐다2i2c · 2023

원인 용량 한계

IL-0018 DockerHub 비밀번호를 바꾼 뒤 Concourse 와 EKS 클러스터 노드가 Docker Hub 에서 이미지를 받지 못했다UK Ministry of Justice · 2023

원인 운영 실수

IL-0096 GCP europe-west2-b 존의 자원이 바닥나 이 존 하나에 묶인 GKE 노드 풀이 늘어나지 못했고, LIS 허브의 사용자 서버가 6시간 30분 동안 뜨지 않았다.2i2c · 2022

원인 클라우드 제공자 장애

IL-0164 이전 릴리스의 변경이 빠진 LKE 운영 업데이트 때문에 클러스터 업그레이드와 노드 추가가 오류 없이 실패했다Linode · 2022

원인 배포 결함

IL-0113 한 번도 교체되지 않은 GKE API 서버 인증서 때문에 메인 클러스터의 컨트롤 플레인이 망가져 EU 리전의 백엔드 API, 프런트엔드, 터널이 모두 멈췄다Webhook Relay · 2022

원인 인증서·자격 증명 만료

IL-0205 Google Cloud us-east1 의 SSD 영구 디스크 재고가 바닥나 GKE 클러스터 오토스케일러가 프로덕션 노드를 늘리지 못했고, API 디플로이먼트가 파드를 띄울 용량을 얻지 못했다.GitLab · 2021

원인 클라우드 제공자 장애

IL-0094 JupyterHub 클러스터에서 학생 파드가 노드의 CPU 와 메모리를 다 써서 자원 보장이 부족했던 코어 파드가 자원을 얻지 못했고, 허브 전체가 멈췄다.2i2c · 2020

원인 용량 한계

IL-0190 쿠버네티스 업그레이드로 etcd 리더가 있던 노드가 갑자기 종료된 뒤, Cortex distributor 두 개가 옛 리더와 맺은 TCP 연결이 멈춘 채 그 연결을 계속 써서 런던 리전 Hosted Prometheus 쓰기가 12분 동안 일부 실패했다.Grafana Labs · 2020

원인 소프트웨어 결함

IL-0013 노드 RAM 을 절반으로 줄이자 conntrack 테이블이 가득 차 집계 서비스에 연결 리셋과 오류가 늘었다loveholidays · 2020

원인 용량 한계

IL-0015 GKE 가 노드마다 IP 256개를 미리 잡아 /16 파드 주소 범위가 바닥나고 노드 증설과 배포가 멈췄다loveholidays · 2020

원인 용량 한계

IL-0149 2019-09-28 07:20 UTC 이전에 만든 VMSS 기반 AKS 클러스터의 업그레이드가 PlatformImageNotFound 오류로 실패했다.Microsoft Azure · 2019

원인 배포 결함

IL-0039 CentOS 저장소 재구성으로 kops nodeup 에 하드코딩된 container-selinux 패키지 주소가 깨져 새 워커 노드가 클러스터에 합류하지 못했다FREE NOW · 2019

원인 의존성 장애

IL-0014 GKE 를 1.12.5-gke.10 으로 올리는 중 노드 풀 업그레이드가 멈추고 인그레스와 HPA 가 망가졌다loveholidays · 2019

원인 클라우드 제공자 장애

IL-0054 GKE 에서 옛 노드 풀을 드레인하자 로드밸런서가 ingress-nginx 파드가 없는 새 노드만 가리켜 클러스터의 모든 인그레스 트래픽이 끊겼다DevOps Hof · 2019

원인 운영 실수

IL-0055 실패하는 CronJob 이 기본 concurrencyPolicy 때문에 겹겹이 쌓여 재시작하는 파드가 수천 개로 늘었고 클러스터가 내려갔다Target · 2018

원인 설정 변경