Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

원인

클라우드 제공자 장애

Cloud provider outage · cloud-provider

8건 · 2019년부터 2025년

구성 요소 애플리케이션 데이터베이스4건 클러스터 오토스케일러3건 노드 풀3건 AKS 컨트롤 플레인1건 GKE 컨트롤 플레인1건 Helm1건 수평 파드 오토스케일러1건 인그레스 컨트롤러1건 쿠버네티스 API 서버1건 노드 루트 디스크1건 영구 볼륨과 스테이트풀셋1건

기여 요인 장애 중첩4건 미검증 가정2건 과도한 영향 범위2건 단일 장애점2건

증상 서비스 중단6건 파드 Pending4건 노드 증설 실패3건 오류율 상승3건

조직 2i2c1건 Devsisters1건 GitLab1건 Grafana Labs1건 loveholidays

사례

IL-0119 Cosmos DB 장애 뒤 ChatGPT 웹 서비스 파드가 헬스 체크 실패로 크래시 루프에 빠져 chatgpt.com 과 일부 API 의 오류율이 높아졌다.OpenAI · 2025
IL-0084 베어메탈 업체 vSwitch 의 패킷 드롭으로 Namespace 의 fra3 리전이 빠져 전 세계 용량이 모자랐고, 다음 날에는 컨트롤 플레인 노드의 느린 NVMe 쓰기로 쿠버네티스 API 서버 CPU 가 치솟아 zrh1 이 멈췄다.Namespace · 2024
IL-0145 Australia East 의 전압 강하로 냉각기가 멈춰 데이터 홀 장비가 꺼지면서, 영역 중복이 아닌 AKS 작업 큐 데이터베이스가 내려가 두 리전의 AKS 생성, 수정, 삭제 작업이 막혔다Microsoft Azure · 2023
IL-0096 GCP europe-west2-b 존의 자원이 바닥나 이 존 하나에 묶인 GKE 노드 풀이 늘어나지 못했고, LIS 허브의 사용자 서버가 6시간 30분 동안 뜨지 않았다.2i2c · 2022
IL-0205 Google Cloud us-east1 의 SSD 영구 디스크 재고가 바닥나 GKE 클러스터 오토스케일러가 프로덕션 노드를 늘리지 못했고, API 디플로이먼트가 파드를 띄울 용량을 얻지 못했다.GitLab · 2021
IL-0172 AWS 도쿄 리전 한 AZ 의 냉각 장애로 쿠버네티스 위에서 돌던 CockroachDB 노드 60대 중 6대가 22분 만에 죽었고, AZ 토폴로지 설정이 없어 일부 Range 가 정족수를 잃었다.

그래프에서 보기

초기 신호 무시1건

미패치 알려진 버그1건

디버그 접근 제한1건

모니터링 사각지대1건

용량 계획 부재1건

여유 용량 부재1건

온콜 호출 미전달1건

의존성에 묶인 헬스 체크1건

스테이징 불일치1건

지연 시간 증가2건

노드 NotReady2건

오토스케일러 오동작1건

컨트롤 플레인 지연1건

컨트롤 플레인 무응답1건

컨테이너 재시작 반복1건

데이터 유실1건

배포 실패1건

간헐적 연결 실패1건

프로브 실패1건

업그레이드 정체1건

1건

Microsoft Azure1건

Devsisters · 2021

IL-0193 GCP SSD 영구 디스크 장애로 Cassandra 파드가 볼륨을 붙이지 못했고, OrderedReady 정책 때문에 나머지 파드도 다시 뜨지 못한 데다 Metrictank 가 바뀐 Cassandra IP 로 다시 연결하지 못해, Grafana Cloud Graphite 쿼리 일부가 최대 23시간 실패했다.Grafana Labs · 2019

IL-0014 GKE 를 1.12.5-gke.10 으로 올리는 중 노드 풀 업그레이드가 멈추고 인그레스와 HPA 가 망가졌다loveholidays · 2019