Incident Library
  • 원인
  • 구성 요소
  • 증상
  • 기여 요인
  • 사례

사례29건

29건 중 29~29번째

  1. IL-0036 재시도를 멈추지 않는 쿠버네티스 Job 이 노드 자원을 다 써 버려 클러스터의 노드가 차례로 죽고 검색과 리포트가 멈췄다.
    Universe2017
    증상

    재색인 Job 을 띄운 직후 Universe 의 리포트 API 와 검색 API 에 문제가 생겼다. 쿠버네티스 클러스터 UI 도 함께 영향을 받았다.

    서비스 중단노드 NotReady노드 재생성 반복
    촉발

    Discover 검색 색인에서 일부 데이터 필드를 빼는 변경을 배포하고, 새 설정을 적용하려고 쿠버네티스 Job 으로 재색인 작업을 띄웠다.

    원인
    용량 한계
    구성 요소
    잡과 크론잡파드 스케줄링과 배치
    기여 요인
    미검증 가정자동화 증폭과도한 영향 범위
    감지

    재색인 Job 을 띄운 직후 팀이 리포트 API, 검색 API, 쿠버네티스 클러스터 UI 의 문제를 알아챘다. 팀은 상태 페이지에 검색과 리포트를 쓸 수 없다는 보고를 조사하고 있다고 올렸다.

    조치
    • 문제의 재색인 Job 을 스케줄러에서 지웠다.
    • 노드들이 자동으로 회복해 모두 정상으로 돌아왔다.
    교훈

    RestartPolicy=Never 는 파드에만 적용되고 Job 에는 적용되지 않는다. Job 은 실패하면 항상 다시 시작되고 두 번 이상 실행될 수 있다. 노드 자원을 다 쓰는 작업을 Job 으로 돌리면 그 Job 이 노드를 옮겨 다니며 클러스터의 노드를 모두 쓰러뜨릴 수 있다.

    사례 보기
내 클러스터에도 있는지 확인하기

이 29건에서 가장 많이 나오는 구성 요소: 애플리케이션 데이터베이스, 노드 운영체제 이미지. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.

kubegap 열기

원인별7

배포 결함1건

구성 요소
인메모리 캐시애플리케이션 데이터베이스
기여 요인
자동화 증폭피크 시간 변경모니터링 사각지대런북 부재의존성에 묶인 헬스 체크재시도 폭주
조직
Microsoft Azure
  1. IL-0136 Sweden Central 리전에서 내부 서비스 배포가 캐시를 비워 메타데이터 백엔드에 평소 20배의 트래픽이 몰렸고, 데이터베이스 연결에 기대는 헬스 체크가 인스턴스를 계속 재시작시켜 Azure OpenAI 요청이 6시간 가까이 실패했다
    Microsoft Azure2026

용량 한계7건

구성 요소
애플리케이션 데이터베이스3건파드 스케줄링과 배치3건CoreDNS2건수평 파드 오토스케일러2건어드미션 웹훅1건인메모리 캐시1건잡과 크론잡1건Karpenter1건쿠버네티스 API 서버1건리눅스 커널1건컨테이너 메모리 한도1건NAT 게이트웨이1건노드 풀1건컨테이너 레지스트리와 자격 증명1건
기여 요인
자동화 증폭7건재시도 폭주3건미검증 가정2건과도한 영향 범위2건수동 조치 악화2건단일 장애점2건한계 미인지1건모니터링 사각지대1건여유 용량 부재1건단계적 배포 부재1건
조직
Buildkite1건Datadog1건Honeycomb1건Moonlight1건Scaleway1건Universe1건이언철1건
  1. IL-0102 배포와 워커 오토스케일링 폭주가 겹치자 크기를 고정해 둔 CoreDNS 가 메모리 한도를 넘겨 재시작된 뒤 회복하지 못했고, Buildkite 사이트 전체가 약 30분 멈췄다.
    Buildkite2026
  2. IL-0182 트래픽이 급변할 때 수가 모자란 CoreDNS 가 과부하로 지연과 간헐적 네트워크 끊김을 일으켰고, 나중에는 과하게 늘린 CoreDNS 파드가 Karpenter 의 노드 통합을 막았다
    이언철2024
  3. IL-0168 새 쿠버네티스 릴리스 뒤 많은 Kapsule 클러스터가 동시에 자동 업그레이드되면서 Kubernetes API 가 과부하로 OOM 이 났고, 새 노드 인증 방식의 재시도가 혼잡을 키워 노드가 Not Ready 가 됐다.
    Scaleway2024
  4. IL-0202 갑자기 몰린 쿼리와 데이터베이스 쓰기로 Honeycomb 수집 호스트가 메모리 부족으로 죽었고, 쿠버네티스 CrashLoopBackOff 가 용량 회복을 막아 US1 이벤트 수집이 한 시간 넘게 불안정했다
    Honeycomb2023
  5. IL-0037 imagePullPolicy가 Always인 DaemonSet이 크래시 루프를 돌며 이미지를 계속 받아, NAT 세 대를 같이 쓰던 리전 전체가 이미지 레지스트리에서 429로 막혔다
    Datadog2019
  6. IL-0064 CPU 를 많이 쓰는 파드가 Google Cloud 노드 하나에 몰려 노드가 커널 패닉으로 죽었고, 다시 배치된 파드가 다음 노드를 또 죽이며 웹사이트와 API 가 멈췄다.
    Moonlight2019
  7. IL-0036 재시도를 멈추지 않는 쿠버네티스 Job 이 노드 자원을 다 써 버려 클러스터의 노드가 차례로 죽고 검색과 리포트가 멈췄다.
    Universe2017

소프트웨어 결함6건

구성 요소
노드 운영체제 이미지3건자동 용량 관리 시스템1건클라우드 로드 밸런서1건애플리케이션 데이터베이스1건DNS 서버와 레코드1건GPU 드라이버1건Karpenter1건kubelet1건노드 런치 템플릿1건리눅스 커널1건모델 요청 라우팅1건노드 풀1건Terraform1건AWS VPC CNI1건
기여 요인
자동화 증폭6건모니터링 사각지대2건미검증 가정1건과도한 영향 범위1건늦게 드러난 변경1건캐시로 가려진 장애1건헬스 프로브 부재1건런북 부재1건파괴적 변경 보호 장치 부재1건단계적 배포 부재1건장애 중첩1건재시도 폭주1건
조직
Amazon Web Services1건DFDS1건Google Cloud1건Inflab1건Microsoft1건OpenAI1건
  1. IL-0124 서킷 브레이커가 풀리자 낡은 상태를 근거로 쌓여 있던 용량 조정이 한꺼번에 실행돼 여러 추론 엔진이 동시에 빠졌고, OpenAI API 의 오류율과 지연 시간이 올랐다.
    OpenAI2026
  2. IL-0150 DynamoDB DNS 자동화의 경쟁 조건이 us-east-1 리전 엔드포인트의 DNS 레코드를 비워 DynamoDB 와 EC2 인스턴스 시작이 실패했고, 그 여파로 EKS, ECS, Fargate 의 컨테이너 시작과 클러스터 스케일링이 14시간 넘게 막혔다
    Amazon Web Services2025
  3. IL-0171 Bottlerocket AMI 에 libdcgm.so 가 없어 GPU 노드의 AcceleratedHardwareReady 가 False 가 됐고, Karpenter 노드 자동 복구가 Ready 뒤 10~11분마다 GPU 노드를 교체하는 일을 끝없이 되풀이했다.
    Inflab2025
  4. IL-0147 AKS 202508 노드 이미지가 캐시되지 않은 쿠버네티스 바이너리를 받을 때 HTTP 프록시 설정을 쓰지 않아, 프록시 뒤에 있는 노드의 프로비저닝이 CSE 종료 코드 31 로 실패했다.
    Microsoft2025
  5. IL-0112 나중에 회수된 EKS 노드 AMI 로 노드를 교체한 뒤 노드가 PLEG is not healthy 를 보고하며 NotReady 를 오갔고 파드 네트워크 타임아웃이 났다
    DFDS2022
  6. IL-0132 잘못된 리소스 정리 작업이 Vertex AI 예측 엔드포인트를 전역에서 삭제된 것으로 표시해 고객 모델이 내려가고 예측 요청이 4시간 넘게 실패했다.
    Google Cloud2022

의존성 장애3건

구성 요소
컨테이너 런타임1건파드용 자격 증명 중개자1건GPU 드라이버1건라이브니스·레디니스 프로브1건노드 운영체제 이미지1건노드 풀1건서비스 디스커버리1건텔레메트리 에이전트1건
기여 요인
자동화 증폭3건과도한 영향 범위2건기본 설정 방치1건미패치 알려진 버그1건단일 장애점1건
조직
Google Cloud1건Target1건Yonghyun Kim1건
  1. IL-0187 Spring Cloud Config Server 가 잠깐 내려가자 이를 헬스 체크에 포함한 모든 앱의 Liveness Probe 가 실패해 쿠버네티스가 파드를 계속 죽이고 다시 띄우면서 한 계열사 서비스가 마비됐다.
    Yonghyun Kim2025
  2. IL-0021 GKE 의 COS 노드가 NVIDIA GPU 드라이버를 403 Forbidden 으로 받지 못해 새로 만든 GPU 노드를 쓸 수 없었다
    Google Cloud2024
  3. IL-0073 Kafka 연결이 끊기자 로깅 사이드카가 Docker 데몬에 부하를 주어 노드가 줄줄이 비정상이 되었고, 재스케줄링으로 생긴 노드 약 41,000개가 Consul gossip 메시를 오염시켜 Vault 와 배포 엔진까지 멈췄다
    Target2019

업그레이드로 깨진 호환성3건

구성 요소
노드 운영체제 이미지2건Cilium1건애플리케이션 데이터베이스1건클라이언트 쪽 DNS 리졸버와 캐시1건인그레스 컨트롤러1건kubelet1건컨테이너 레지스트리와 자격 증명1건systemd-networkd1건
기여 요인
자동화 증폭3건단계적 배포 부재3건과도한 영향 범위1건기본 설정 방치1건늦게 드러난 변경1건
조직
Datadog1건Microsoft Azure1건OpenAI1건
  1. IL-0117 인그레스 업그레이드가 네트워크 컨트롤 플레인 회귀를 일으켜 데이터 플레인이 잠깐 끊겼고, 한꺼번에 재시작한 서비스들이 백엔드 저장소에 과부하를 일으켜 OpenAI API 오류가 늘었다
    OpenAI2024
  2. IL-0198 systemd 보안 패치가 Ubuntu 22.04 노드의 systemd-networkd 를 재시작해 Cilium 이 넣은 IP 규칙을 지웠고, 여러 리전과 세 클라우드의 Kubernetes 노드가 한꺼번에 네트워크를 잃었다.
    Datadog2023
  3. IL-0144 Ubuntu 18.04 의 systemd 보안 업데이트가 DNS 설정을 날려 AKS 노드의 kubelet 이 레지스트리 이름을 해석하지 못하고 파드가 ImagePullBackoff 에 빠졌다.
    Microsoft Azure2022

설정 변경8건

구성 요소
Argo CD2건설정 템플릿2건쿠버네티스 API 서버2건노드 풀2건어드미션 웹훅1건클라우드 로드 밸런서1건컨테이너 런타임1건etcd1건GKE 컨트롤 플레인1건HAProxy1건Helm1건잡과 크론잡1건kubelet1건노드 런치 템플릿1건영구 볼륨과 스테이트풀셋1건파드 우선순위와 선점1건텔레메트리 에이전트1건Terraform1건
기여 요인
자동화 증폭8건과도한 영향 범위3건리뷰 누락3건기본 설정 방치2건모니터링 사각지대2건설정 테스트 부재2건런북 부재2건파괴적 변경 보호 장치 부재2건미검증 백업1건수동 조치 악화1건헬스 프로브 부재1건여유 용량 부재1건단계적 배포 부재1건부분 배포1건재시도 폭주1건스테이징 불일치1건
조직
DFDS1건DigitalOcean1건GitLab1건Grafana Labs1건InfluxData1건Jetstack1건Skyscanner1건Target1건
  1. IL-0152 정비 작업 중 FRA1 내부 인프라 클러스터에 잘못된 설정이 들어가 그 위에서 돌던 DOKS 클러스터 200개의 컨트롤 플레인이 자동으로 삭제됐다.
    DigitalOcean2024
  2. IL-0109 로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다.
    DFDS2023
  3. IL-0009 ArgoCD Application 이름이 겹쳐 InfluxDB Cloud 운영 환경 하나가 통째로 삭제됐다
    InfluxData2022
  4. IL-0208 GitLab Helm 차트 업그레이드가 Service 와 Deployment 의 포트 이름을 바꿔 GCP 로드 밸런서가 다시 구성되는 동안 GitLab.com 요청이 느려지고 50x 오류가 났다
    GitLab2022
  5. IL-0010 템플릿 중괄호가 빠진 설정 변경으로 ArgoCD 가 전 세계 모든 클러스터의 서비스를 지웠다
    Skyscanner2021
  6. IL-0008 응답하지 않는 OPA 검증 웹훅 때문에 GKE 마스터 업그레이드가 멈추고 API 서버가 간헐적으로 끊기면서 노드가 끝없이 재생성됐다
    Jetstack2019
  7. IL-0004 새 Cortex 클러스터에서 기본 우선순위를 받은 파드가 우선순위가 없는 운영 Ingester 를 연쇄적으로 선점해 Hosted Prometheus 쓰기가 실패했다
    Grafana Labs2019
  8. IL-0055 실패하는 CronJob 이 기본 concurrencyPolicy 때문에 겹겹이 쌓여 재시작하는 파드가 수천 개로 늘었고 클러스터가 내려갔다
    Target2018

DNS·네트워크 장애1건

구성 요소
conntrack 테이블CoreDNSkube-proxy
기여 요인
자동화 증폭초기 신호 무시캐시 부재
조직
Preply
  1. IL-0049 CoreDNS 파드가 줄어든 뒤 kube-proxy 가 conntrack 항목을 지우지 못해 일부 서비스의 DNS 요청이 없어진 파드로 가면서 5xx 가 쏟아졌다
    Preply2020