Incident Library
적용된 필터 증상서비스 중단기여 요인과도한 영향 범위모두 풀기검색어 없이 필터만 적용한 목록입니다. 최근 사례부터입니다.
추천 필터 검색하면 검색어에서 찾은 분류 값이 여기에 나옵니다.

그래프

  • 원인
  • 구성 요소
  • 증상
  • 기여 요인
  • 사례

사례14건

14건 중 14~14번째

  1. IL-0036 재시도를 멈추지 않는 쿠버네티스 Job 이 노드 자원을 다 써 버려 클러스터의 노드가 차례로 죽고 검색과 리포트가 멈췄다.
    Universe2017
    증상

    재색인 Job 을 띄운 직후 Universe 의 리포트 API 와 검색 API 에 문제가 생겼다. 쿠버네티스 클러스터 UI 도 함께 영향을 받았다.

    서비스 중단노드 NotReady노드 재생성 반복
    촉발

    Discover 검색 색인에서 일부 데이터 필드를 빼는 변경을 배포하고, 새 설정을 적용하려고 쿠버네티스 Job 으로 재색인 작업을 띄웠다.

    원인
    용량 한계
    구성 요소
    잡과 크론잡파드 스케줄링과 배치
    기여 요인
    미검증 가정자동화 증폭과도한 영향 범위
    감지

    재색인 Job 을 띄운 직후 팀이 리포트 API, 검색 API, 쿠버네티스 클러스터 UI 의 문제를 알아챘다. 팀은 상태 페이지에 검색과 리포트를 쓸 수 없다는 보고를 조사하고 있다고 올렸다.

    조치
    • 문제의 재색인 Job 을 스케줄러에서 지웠다.
    • 노드들이 자동으로 회복해 모두 정상으로 돌아왔다.
    교훈

    RestartPolicy=Never 는 파드에만 적용되고 Job 에는 적용되지 않는다. Job 은 실패하면 항상 다시 시작되고 두 번 이상 실행될 수 있다. 노드 자원을 다 쓰는 작업을 Job 으로 돌리면 그 Job 이 노드를 옮겨 다니며 클러스터의 노드를 모두 쓰러뜨릴 수 있다.

    사례 보기
내 클러스터에도 있는지 확인하기

이 14건에서 가장 많이 나오는 구성 요소: 애플리케이션 데이터베이스, 어드미션 웹훅. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.

kubegap 열기

원인별6

의존성 장애1건

구성 요소
라이브니스·레디니스 프로브
기여 요인
자동화 증폭과도한 영향 범위기본 설정 방치
조직
Yonghyun Kim
  1. IL-0187 Spring Cloud Config Server 가 잠깐 내려가자 이를 헬스 체크에 포함한 모든 앱의 Liveness Probe 가 실패해 쿠버네티스가 파드를 계속 죽이고 다시 띄우면서 한 계열사 서비스가 마비됐다.
    Yonghyun Kim2025

설정 변경4건

구성 요소
설정 템플릿2건어드미션 웹훅1건Argo CD1건클라우드 로드 밸런서1건GKE 컨트롤 플레인1건쿠버네티스 API 서버1건kubelet1건노드 풀1건Terraform1건
기여 요인
과도한 영향 범위4건자동화 증폭2건단계적 배포 부재2건미검증 가정1건미검증 백업1건모니터링 사각지대1건설정 테스트 부재1건헬스 프로브 부재1건런북 부재1건파괴적 변경 보호 장치 부재1건리뷰 누락1건
조직
Grafana Labs1건Jetstack1건Skyscanner1건UK Ministry of Justice1건
  1. IL-0192 Crossplane 컴포지션의 병합 정책 변경이 Service 타입을 ClusterIP 로 바꿔 클라우드 로드 밸런서가 지워지고 Grafana Cloud 서비스의 약 25%가 끊겼다.
    Grafana Labs2025
  2. IL-0091 Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되어 사용자 운영 파드가 모두 지워지고 서비스가 내려갔다
    UK Ministry of Justice2023
  3. IL-0010 템플릿 중괄호가 빠진 설정 변경으로 ArgoCD 가 전 세계 모든 클러스터의 서비스를 지웠다
    Skyscanner2021
  4. IL-0008 응답하지 않는 OPA 검증 웹훅 때문에 GKE 마스터 업그레이드가 멈추고 API 서버가 간헐적으로 끊기면서 노드가 끝없이 재생성됐다
    Jetstack2019

클라우드 제공자 장애2건

구성 요소
애플리케이션 데이터베이스2건AKS 컨트롤 플레인1건Helm1건
기여 요인
과도한 영향 범위2건미검증 가정1건단일 장애점1건
조직
Devsisters1건Microsoft Azure1건
  1. IL-0145 Australia East 의 전압 강하로 냉각기가 멈춰 데이터 홀 장비가 꺼지면서, 영역 중복이 아닌 AKS 작업 큐 데이터베이스가 내려가 두 리전의 AKS 생성, 수정, 삭제 작업이 막혔다
    Microsoft Azure2023
  2. IL-0172 AWS 도쿄 리전 한 AZ 의 냉각 장애로 쿠버네티스 위에서 돌던 CockroachDB 노드 60대 중 6대가 22분 만에 죽었고, AZ 토폴로지 설정이 없어 일부 Range 가 정족수를 잃었다.
    Devsisters2021

소프트웨어 결함2건

구성 요소
클라우드 로드 밸런서1건인그레스 컨트롤러1건모델 요청 라우팅1건
기여 요인
과도한 영향 범위2건자동화 증폭1건늦게 드러난 변경1건설정 테스트 부재1건
조직
DFDS1건Google Cloud1건
  1. IL-0132 잘못된 리소스 정리 작업이 Vertex AI 예측 엔드포인트를 전역에서 삭제된 것으로 표시해 고객 모델이 내려가고 예측 요청이 4시간 넘게 실패했다.
    Google Cloud2022
  2. IL-0106 잘못된 IngressRoute 매니페스트가 Traefik v2 버그를 건드려 Traefik 파드가 모두 재시작된 뒤 Kubernetes 의 모든 서비스가 404 를 냈다
    DFDS2021

배포 결함2건

구성 요소
Calico1건인그레스 컨트롤러1건서비스 디스커버리1건텔레메트리 에이전트1건
기여 요인
과도한 영향 범위2건미검증 가정1건모니터링 사각지대1건런북 부재1건
조직
Airbnb1건CircleCI1건
  1. IL-0086 테스트 Kubernetes 클러스터용 배포가 운영 클러스터의 Traefik 과 Calico 리소스까지 지워 CircleCI UI 와 runner.circleci.com 이 1시간 54분 동안 내려갔다.
    CircleCI2021
  2. IL-0034 메트릭 에이전트 사이드카가 업그레이드 중 크래시하자 클러스터의 모든 파드가 준비되지 않은 상태가 되어 서비스가 트래픽을 받지 못했다
    Airbnb2019

용량 한계3건

구성 요소
어드미션 웹훅1건애플리케이션 데이터베이스1건잡과 크론잡1건컨테이너 메모리 한도1건NAT 게이트웨이1건노드 풀1건파드 스케줄링과 배치1건컨테이너 레지스트리와 자격 증명1건
기여 요인
과도한 영향 범위3건미검증 가정2건자동화 증폭2건한계 미인지1건수동 조치 악화1건리소스 요청과 한도 미설정1건단일 장애점1건
조직
2i2c1건Datadog1건Universe1건
  1. IL-0094 JupyterHub 클러스터에서 학생 파드가 노드의 CPU 와 메모리를 다 써서 자원 보장이 부족했던 코어 파드가 자원을 얻지 못했고, 허브 전체가 멈췄다.
    2i2c2020
  2. IL-0037 imagePullPolicy가 Always인 DaemonSet이 크래시 루프를 돌며 이미지를 계속 받아, NAT 세 대를 같이 쓰던 리전 전체가 이미지 레지스트리에서 429로 막혔다
    Datadog2019
  3. IL-0036 재시도를 멈추지 않는 쿠버네티스 Job 이 노드 자원을 다 써 버려 클러스터의 노드가 차례로 죽고 검색과 리포트가 멈췄다.
    Universe2017