Incident Library
  • 원인
  • 구성 요소
  • 증상
  • 기여 요인
  • 사례

사례43건

43건 중 43~43번째

  1. IL-0036 재시도를 멈추지 않는 쿠버네티스 Job 이 노드 자원을 다 써 버려 클러스터의 노드가 차례로 죽고 검색과 리포트가 멈췄다.
    Universe2017
    증상

    재색인 Job 을 띄운 직후 Universe 의 리포트 API 와 검색 API 에 문제가 생겼다. 쿠버네티스 클러스터 UI 도 함께 영향을 받았다.

    서비스 중단노드 NotReady노드 재생성 반복
    촉발

    Discover 검색 색인에서 일부 데이터 필드를 빼는 변경을 배포하고, 새 설정을 적용하려고 쿠버네티스 Job 으로 재색인 작업을 띄웠다.

    원인
    용량 한계
    구성 요소
    잡과 크론잡파드 스케줄링과 배치
    기여 요인
    미검증 가정자동화 증폭과도한 영향 범위
    감지

    재색인 Job 을 띄운 직후 팀이 리포트 API, 검색 API, 쿠버네티스 클러스터 UI 의 문제를 알아챘다. 팀은 상태 페이지에 검색과 리포트를 쓸 수 없다는 보고를 조사하고 있다고 올렸다.

    조치
    • 문제의 재색인 Job 을 스케줄러에서 지웠다.
    • 노드들이 자동으로 회복해 모두 정상으로 돌아왔다.
    교훈

    RestartPolicy=Never 는 파드에만 적용되고 Job 에는 적용되지 않는다. Job 은 실패하면 항상 다시 시작되고 두 번 이상 실행될 수 있다. 노드 자원을 다 쓰는 작업을 Job 으로 돌리면 그 Job 이 노드를 옮겨 다니며 클러스터의 노드를 모두 쓰러뜨릴 수 있다.

    사례 보기
내 클러스터에도 있는지 확인하기

이 43건에서 가장 많이 나오는 구성 요소: 인그레스 컨트롤러, 데이터베이스. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.

kubegap 열기

원인별10

설정 변경12건

구성 요소
클라우드 로드 밸런서4건설정 템플릿2건인그레스 컨트롤러2건노드 풀2건Terraform2건어드미션 웹훅1건인메모리 캐시1건CI 시스템1건CNI 플러그인1건컨피그맵과 시크릿1건conntrack 테이블1건컨테이너 런타임1건데이터베이스1건GKE 컨트롤 플레인1건HAProxy1건수평 파드 오토스케일러1건Karpenter1건쿠버네티스 API 서버1건애플리케이션 로깅 라이브러리1건컨테이너 메모리 한도1건영구 볼륨과 스테이트풀셋1건파드 우선순위와 선점1건텔레메트리 에이전트1건AWS VPC CNI1건
기여 요인
미검증 가정12건과도한 영향 범위3건늦게 드러난 변경3건파괴적 변경 보호 장치 부재3건설정 테스트 부재2건단계적 배포 부재2건재시도 폭주2건초기 신호 무시1건모니터링 사각지대1건헬스 프로브 부재1건여유 용량 부재1건리뷰 누락1건공용 자격 증명1건단일 장애점1건
조직
DFDS2건AdGuard VPN1건GitLab1건Grafana Labs1건Jenkins project1건LIFULL1건LINE Plus1건MUSINSA1건Pusher1건Spotify1건Stytch1건
  1. IL-0179 DEBUG 로그가 쏟아지자 동기 로깅을 하던 요청 스레드들이 가득 찬 stdout 파이프에서 멈춘 채 DB 커넥션을 쥐고 있어, HikariCP 커넥션 풀이 고갈되고 요청이 30초 주기로 한꺼번에 실패했다.
    MUSINSA2026
  2. IL-0063 Redis 스테이트풀셋을 다시 만들자 Redis 클러스터가 한꺼번에 재시작되며 일부가 망가졌고, 재연결 폭주로 백엔드가 OOM 으로 죽어 AdGuard VPN 이 약 50분 멈췄다.
    AdGuard VPN2025
  3. IL-0192 Crossplane 컴포지션의 병합 정책 변경이 Service 타입을 ClusterIP 로 바꿔 클라우드 로드 밸런서가 지워지고 Grafana Cloud 서비스의 약 25%가 끊겼다.
    Grafana Labs2025
  4. IL-0473 Azure 공개 쿠버네티스 클러스터의 노드 풀이 모두 지워지고 다시 만들어지지 않아 Jenkins 인프라 서비스가 4시간 넘게 멈췄다
    Jenkins project2023
  5. IL-0231 EKS 클러스터의 워커 노드가 모두 꺼지고 새 노드가 뜨지 않아 Stytch API 가 14분 동안 완전히 멈췄다
    Stytch2023
  6. IL-0177 다른 팀의 설정 배포로 공유 L7 HAProxy 가 재로드될 때마다 messaging-hub 의 웹소켓 연결이 한꺼번에 끊겼다.
    LINE Plus2022
  7. IL-0442 운영 중인 KEEL 쿠버네티스 클러스터에서 priority 0 파드가 한꺼번에 선점되어 istio-ingressgateway 를 비롯한 파드가 재시작되고 서비스가 잠시 끊겼다
    LIFULL2021
  8. IL-0209 웹 파드의 HPA CPU 목표값이 너무 높아 트래픽을 넘겨받는 동안 파드가 늘지 않았고, GitLab.com 웹 지연 SLO 가 약 15분 동안 깨졌다.
    GitLab2021
  9. IL-0105 VPC CNI 교체로 ALB 에서 타깃 그룹이 떨어져 나가 쿠버네티스 클러스터의 모든 서비스가 503 을 냈다
    DFDS2021
  10. IL-0108 워크숍 중 운영 클러스터에 적용한 Alcide admission 컨트롤러 때문에 Deployment 생성과 수정이 타임아웃되었다
    DFDS2020
  11. IL-0061 Terraform 상태 파일이 리뷰 빌드에서 바뀐 데다 권한 차이까지 겹쳐 Terraform 이 운영 GKE 클러스터 세 개 중 두 개를 삭제했다
    Spotify2019
  12. IL-0066 ConfigMap 만 바꾸고 디플로이먼트는 그대로 둔 탓에 잘못된 설정이 몇 주 뒤 노드 교체 때 모든 브리지 파드에 퍼져 Pusher 의 모든 트래픽이 끊겼다
    Pusher2019

소프트웨어 결함8건

구성 요소
인그레스 컨트롤러2건노드 운영체제 이미지2건Argo CD1건설정 템플릿1건컨테이너 CPU 한도1건데이터베이스1건클라이언트 쪽 DNS 리졸버와 캐시1건GPU 드라이버1건HAProxy1건Karpenter1건리눅스 커널1건컨테이너 메모리 한도1건영구 볼륨과 스테이트풀셋1건파드 종료 처리1건텔레메트리 에이전트1건
기여 요인
미검증 가정8건자동화 증폭1건기본 설정 방치1건초기 신호 무시1건미패치 알려진 버그1건수동 조치 악화1건파괴적 변경 보호 장치 부재1건단계적 배포 부재1건단일 장애점1건스테이징 불일치1건
조직
Argo CD users1건Buffer1건Inflab1건Palark1건Ravelin1건Skyscanner1건thredUP1건Toyota Connected1건
  1. IL-0058 Argo CD 에서 여러 앱이 함께 선언한 네임스페이스가 force 동기화로 지워져 앱 약 97개가 Missing/OutOfSync 상태에서 빠져나오지 못했다.
    Argo CD users2026
  2. IL-0171 Bottlerocket AMI 에 libdcgm.so 가 없어 GPU 노드의 AcceleratedHardwareReady 가 False 가 됐고, Karpenter 노드 자동 복구가 Ready 뒤 10~11분마다 GPU 노드를 교체하는 일을 끝없이 되풀이했다.
    Inflab2025
  3. IL-0029 CPU 한도를 건 컨테이너가 사용량이 한도에 한참 못 미치는데도 스로틀링되어 사용자 대면 서비스의 지연 시간이 늘었다.
    Buffer2020
  4. IL-0196 Redis Operator 로 레플리카를 늘리면서 메모리 한도를 낮추자 데이터를 가진 유일한 Redis 파드가 재시작됐고, Sentinel 이 빈 레플리카를 마스터로 올려 데이터가 모두 지워졌다.
    Palark2020
  5. IL-0062 GKE Ingress 뒤의 파드가 SIGTERM 을 받자마자 새 연결을 받지 않고 정상 종료해서 API 에 가끔 502 오류가 났다
    Ravelin2019
  6. IL-0011 HAProxy 인그레스 템플릿이 백엔드 파드를 IP 순으로 정렬해 일부 파드에 요청이 몰리고 인그레스 컨테이너가 OOMKilled 됐다
    Skyscanner2019
  7. IL-0050 ndots:5, Alpine 의 musl 리졸버, Netty 4.1.30 의 DNS 처리 문제가 겹쳐 쿠버네티스 서비스가 클러스터 밖 Redis 호스트 이름을 반복해서 해석하지 못했다
    Toyota Connected2018
  8. IL-0051 외부 업체의 로그 클라이언트가 새 컨테이너가 뜰 때마다 파일 디스크립터를 다시 열고 이전 것을 닫지 않아 쿠버네티스 노드가 too many open files 로 내려갔다
    thredUP2018

용량 한계8건

구성 요소
파드 스케줄링과 배치2건클라우드 블록 스토리지1건클러스터 오토스케일러1건CoreDNS1건컨테이너 CPU 한도1건데이터베이스1건클라이언트 쪽 DNS 리졸버와 캐시1건etcd1건Helm1건수평 파드 오토스케일러1건잡과 크론잡1건쿠버네티스 API 서버1건리눅스 커널1건컨테이너 메모리 한도1건노드 풀1건영구 볼륨과 스테이트풀셋1건파드 종료 처리1건Prometheus1건VPC 서브넷 또는 파드 주소 범위1건텔레메트리 에이전트1건AWS VPC CNI1건
기여 요인
미검증 가정8건자동화 증폭2건과도한 영향 범위2건기본 설정 방치2건수동 조치 악화2건모니터링 사각지대2건용량 계획 부재2건리소스 요청과 한도 미설정2건롤백 무효2건스테이징 불일치2건피크 시간 변경1건한계 미인지1건한계 경보 부재1건부분 배포1건재시도 폭주1건단일 장애점1건
조직
2i2c1건Buildkite1건Civis Analytics1건freedesktop.org1건MonotaRO1건Moonlight1건Neon1건Universe1건
  1. IL-0470 알림 처리 워커가 모자라 Buildkite 알림 전달이 두 차례 늦어졌다
    Buildkite2026
  2. IL-0006 AWS VPC CNI 가 자원이 찬 노드에 IP 를 붙잡아 두어 us-east-1 서브넷 IP 가 바닥났고, WARM_IP_TARGET 을 바꾼 조치가 파드 시작 실패를 더 오래 끌었다
    Neon2025
  3. IL-0433 EC2 에서 EKS on Fargate 로 트래픽을 옮기던 중 CoreDNS 과부하로 이름 해석 오류가 쏟아져 롤백했다
    MonotaRO2023
  4. IL-0094 JupyterHub 클러스터에서 학생 파드가 노드의 CPU 와 메모리를 다 써서 자원 보장이 부족했던 코어 파드가 자원을 얻지 못했고, 허브 전체가 멈췄다.
    2i2c2020
  5. IL-0064 CPU 를 많이 쓰는 파드가 Google Cloud 노드 하나에 몰려 노드가 커널 패닉으로 죽었고, 다시 배치된 파드가 다음 노드를 또 죽이며 웹사이트와 API 가 멈췄다.
    Moonlight2019
  6. IL-0075 클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다.
    Civis Analytics2019
  7. IL-0518 GKE 위 gitlab.freedesktop.org 의 디스크가 모자라 저장소를 늘리려던 30분 작업이 GitLab 전체의 4시간 장애가 됐다
    freedesktop.org2018
  8. IL-0036 재시도를 멈추지 않는 쿠버네티스 Job 이 노드 자원을 다 써 버려 클러스터의 노드가 차례로 죽고 검색과 리포트가 멈췄다.
    Universe2017

업그레이드로 깨진 호환성2건

구성 요소
어드미션 웹훅1건CDN 과 엣지 네트워크1건클러스터 오토스케일러1건Helm1건인그레스 컨트롤러1건
기여 요인
미검증 가정2건캐시로 가려진 장애1건수동 조치 악화1건모니터링 사각지대1건미뤄 둔 업그레이드1건
조직
2i2c1건Jenkins project1건
  1. IL-0097 cluster autoscaler 버전을 올린 뒤 Kubernetes 1.33 에 남아 있던 클러스터에서 스케일업이 일어나지 않아 새 노드가 만들어지지 않았다
    2i2c2026
  2. IL-0522 ingress-nginx Helm 차트 패치 업그레이드 뒤 jenkins.io 의 Ingress 가 지워져 사이트가 HTTP/503 을 냄
    Jenkins project2021

배포 결함5건

구성 요소
CI 시스템2건텔레메트리 에이전트2건인메모리 캐시1건클라우드 로드 밸런서1건컨피그맵과 시크릿1건데이터베이스1건GPU 드라이버1건Helm1건인그레스 컨트롤러1건노드 풀1건파드 종료 처리1건서비스 디스커버리1건
기여 요인
미검증 가정5건잡음에 묻힌 신호1건과도한 영향 범위1건업무 종료 직전에 시작한 변경1건기본 설정 방치1건늦게 드러난 변경1건모니터링 사각지대1건한계 경보 부재1건리뷰 누락1건단일 장애점1건데워진 캐시에 기댄 구조1건
조직
Airbnb1건Kubernetes project1건Linode1건Wikimedia Foundation1건Yonghyun Kim1건
  1. IL-0160 고쳐서 다시 돌린 레거시 GPU 모니터링 스크립트의 펌웨어 조회가 GSP 레이스 컨디션을 일으켜 Linode 의 RTX 4000 Ada GPU 가 잠기고 LKE 워커 노드의 GPU 작업이 멈췄다
    Linode2026
  2. IL-0188 EKS 롤링 업데이트 때 Kubernetes 는 새 파드가 Ready 가 되자마자 옛 파드를 지웠지만 ALB 는 새 파드를 아직 healthy 로 보지 않아, 배포마다 약 30초 동안 502 가 났다.
    Yonghyun Kim2025
  3. IL-0324 External Storage 데이터베이스 클러스터에 과부하가 걸려 mw-api-int, mw-parsoid, mw-jobrunner 의 지연과 데이터베이스 오류가 늘었다
    Wikimedia Foundation2025
  4. IL-0034 메트릭 에이전트 사이드카가 업그레이드 중 크래시하자 클러스터의 모든 파드가 준비되지 않은 상태가 되어 서비스가 트래픽을 받지 못했다
    Airbnb2019
  5. IL-0467 Prow 빌드 클러스터의 노드 업그레이드 중 Boskos 파드가 크래시 루프에 빠져 GCP 프로젝트가 필요한 테스트 작업이 9시간 넘게 모두 실패했다
    Kubernetes project2019

DNS·네트워크 장애2건

구성 요소
CoreDNS1건클라이언트 쪽 DNS 리졸버와 캐시1건텔레메트리 에이전트1건AWS VPC CNI1건
기여 요인
미검증 가정2건기본 설정 방치2건초기 신호 무시1건한계 미인지1건
조직
Adevinta1건MindTickle1건
  1. IL-0083 멀티 테넌트 쿠버네티스 클러스터에서 노드 로컬 dnsmasq 가 동시 질의 한도에 걸리고 cluster.local 응답을 캐시하지 못한 데다 ndots 검색 도메인 질의가 CoreDNS 로 몰려, 서비스 간 호출이 간헐적인 5xx 를 냈다.
    Adevinta2023
  2. IL-0056 kops 에서 EKS 로 옮긴 뒤 AWS VPC CNI 의 SNAT 때문에 파드에서 다른 VPC 의 NLB 뒤 서비스로 가는 호출이 간헐적으로 실패했다
    MindTickle2020

unknown1건

구성 요소
Calico컨테이너 런타임Multus 메타 CNI
기여 요인
미검증 가정수동 조치 악화
조직
Fyra Labs
  1. IL-0087 RKE2 클러스터 노드를 재부팅한 뒤 Multus 가 쿠버네티스 API 에 닿지 못해 파드가 IP 를 받지 못했고, 같은 장애가 모든 노드로 번져 전체 서비스가 멈췄다.
    Fyra Labs2023

운영 실수2건

구성 요소
Elasticsearch 와 OpenSearch1건Helm1건인그레스 컨트롤러1건kube-proxy1건노드 풀1건영구 볼륨과 스테이트풀셋1건
기여 요인
미검증 가정2건기본 설정 방치1건
조직
DevOps Hof1건Palark1건
  1. IL-0197 Elasticsearch StatefulSet 을 새 퍼시스턴트 볼륨으로 옮기던 중 빈 볼륨으로 다시 뜬 elasticsearch-0 이 혼자 새 클러스터를 만들어 스플릿 브레인이 났다.
    Palark2021
  2. IL-0054 GKE 에서 옛 노드 풀을 드레인하자 로드밸런서가 ingress-nginx 파드가 없는 새 노드만 가리켜 클러스터의 모든 인그레스 트래픽이 끊겼다
    DevOps Hof2019

클라우드 제공자 장애2건

구성 요소
데이터베이스2건Helm1건노드 루트 디스크1건영구 볼륨과 스테이트풀셋1건
기여 요인
미검증 가정2건과도한 영향 범위1건미패치 알려진 버그1건장애 중첩1건
조직
Devsisters1건Grafana Labs1건
  1. IL-0172 AWS 도쿄 리전 한 AZ 의 냉각 장애로 쿠버네티스 위에서 돌던 CockroachDB 노드 60대 중 6대가 22분 만에 죽었고, AZ 토폴로지 설정이 없어 일부 Range 가 정족수를 잃었다.
    Devsisters2021
  2. IL-0193 GCP SSD 영구 디스크 장애로 Cassandra 파드가 볼륨을 붙이지 못했고, OrderedReady 정책 때문에 나머지 파드도 다시 뜨지 못한 데다 Metrictank 가 바뀐 Cassandra IP 로 다시 연결하지 못해, Grafana Cloud Graphite 쿼리 일부가 최대 23시간 실패했다.
    Grafana Labs2019

인증서·자격 증명 만료1건

구성 요소
cert-manager시크릿 저장소
기여 요인
미검증 가정수동 조치 악화모니터링 사각지대단일 장애점
조직
GoCardless
  1. IL-0460 Vault 가 만료된 TLS 인증서를 계속 써서 Vault 에 기대는 서비스 파드가 연쇄로 죽고 GoCardless 서비스 전체가 22분간 멈췄다
    GoCardless2020