Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

기여 요인

장애 중첩

Overlapping failures · overlapping-failures

14건 · 2017년부터 2026년

원인 클라우드 제공자 장애4건 소프트웨어 결함4건 의존성 장애2건 용량 한계1건 설정 변경1건 DNS·네트워크 장애1건 운영 실수1건

구성 요소 클러스터 오토스케일러3건 노드 풀3건 애플리케이션 데이터베이스2건 데이터센터 전력·냉각2건

증상 서비스 중단10건 파드 Pending4건 오류율 상승3건 지연 시간 증가3건

조직 Hugging Face2건 Anthropic1건 CoW Protocol1건 Crusoe Cloud1건 DFDS

사례

IL-0133 폭풍으로 데이터센터 냉각이 멈춰 us-central1 리전 전체가 내려갔고, 디스크 핫플러그 버그로 Managed Kubernetes 컨트롤 플레인 약 140개의 복구가 길어졌다.Nebius · 2026
원인 의존성 장애
IL-0129 SmolLM3 사전 학습에서 공유 Weka 스토리지가 데이터셋 샤드를 S3 로 내보내고 Nanotron 데이터로더의 인덱스가 스텝마다 커지면서, 학습을 시작한 지 몇 시간 만에 처리량이 거듭 급락했다.Hugging Face · 2025
원인 용량 한계
IL-0022 Claude 서빙 인프라의 버그 세 개가 겹쳐 2025년 8월부터 9월 초까지 응답 품질이 간헐적으로 떨어졌다

그래프에서 보기

인그레스 컨트롤러2건

쿠버네티스 API 서버2건

모델 허브2건

AWS VPC CNI2건

클라우드 블록 스토리지1건

GKE 컨트롤 플레인1건

수평 파드 오토스케일러1건

InfiniBand 패브릭1건

노드 런치 템플릿1건

리눅스 커널1건

컨테이너 메모리 한도1건

모델 요청 라우팅1건

노드 루트 디스크1건

노드 운영체제 이미지1건

영구 볼륨과 스테이트풀셋1건

컨테이너 레지스트리와 자격 증명1건

공유 네트워크 파일 시스템1건

학습 데이터 로더1건

XLA 컴파일러1건

노드 증설 실패2건

간헐적 연결 실패2건

간헐적 타임아웃2건

노드 NotReady2건

업그레이드 정체2건

오토스케일러 오동작1건

컨트롤 플레인 지연1건

컨트롤 플레인 무응답1건

데이터베이스 과부하1건

배포 실패1건

GPU 인식 불가1건

이미지 풀 실패1건

모니터링 중단1건

IP 주소 고갈1건

파드 축출1건

요청 오라우팅1건

응답 품질 저하1건

오래된 엔드포인트 라우팅1건

처리량 저하1건

1건

Grafana Labs1건

loveholidays1건

Anthropic · 2025

원인 소프트웨어 결함

IL-0084 베어메탈 업체 vSwitch 의 패킷 드롭으로 Namespace 의 fra3 리전이 빠져 전 세계 용량이 모자랐고, 다음 날에는 컨트롤 플레인 노드의 느린 NVMe 쓰기로 쿠버네티스 API 서버 CPU 가 치솟아 zrh1 이 멈췄다.Namespace · 2024

원인 클라우드 제공자 장애

IL-0024 무거운 API 요청이 MongoDB 에 과부하를 걸고 취소되지 않은 요청이 쌓여 Hugging Face Hub 가 사흘 동안 세 번 멈췄다Hugging Face · 2024

원인 소프트웨어 결함

IL-0114 클러스터 용량을 늘리던 중 버전이 고정되지 않은 VPC CNI 플러그인이 자동으로 업데이트돼 새 파드가 IP 를 받지 못하고 Pending 에 머물렀고, 메인넷 운영 환경의 정산이 약 3.5시간 멈췄다.CoW Protocol · 2024

원인 설정 변경

IL-0135 UPS 를 바이패스 모드로 둔 정기 점검 중 전원이 예비 전원으로 넘어가면서 데이터센터 한 열이 정전됐고, 그 열의 GPU VM 이 모두 꺼졌다.Crusoe Cloud · 2023

원인 의존성 장애

IL-0112 나중에 회수된 EKS 노드 AMI 로 노드를 교체한 뒤 노드가 PLEG is not healthy 를 보고하며 NotReady 를 오갔고 파드 네트워크 타임아웃이 났다DFDS · 2022

원인 소프트웨어 결함

IL-0115 OpenAI 의 운영 AKS 클러스터 세 개 중 하나가 사람의 실수로 통째로 내려가 Codex, Embeddings, 구형 GPT 모델과 파인튜닝 모델이 최대 12시간 동안 제대로 응답하지 못했다OpenAI · 2022

원인 운영 실수

IL-0205 Google Cloud us-east1 의 SSD 영구 디스크 재고가 바닥나 GKE 클러스터 오토스케일러가 프로덕션 노드를 늘리지 못했고, API 디플로이먼트가 파드를 띄울 용량을 얻지 못했다.GitLab · 2021

원인 클라우드 제공자 장애

IL-0199 운영에 꼭 필요하지 않은 컨테이너가 메모리 한도를 넘어 파드가 사용 불가로 표시됐고, DNS 작업 탓에 레지스트리에 접속하지 못해 파드가 다시 뜨지 못하면서 GitHub.com 이 4시간 넘게 멈췄다.GitHub · 2020

원인 DNS·네트워크 장애

IL-0193 GCP SSD 영구 디스크 장애로 Cassandra 파드가 볼륨을 붙이지 못했고, OrderedReady 정책 때문에 나머지 파드도 다시 뜨지 못한 데다 Metrictank 가 바뀐 Cassandra IP 로 다시 연결하지 못해, Grafana Cloud Graphite 쿼리 일부가 최대 23시간 실패했다.Grafana Labs · 2019

원인 클라우드 제공자 장애

IL-0014 GKE 를 1.12.5-gke.10 으로 올리는 중 노드 풀 업그레이드가 멈추고 인그레스와 HPA 가 망가졌다loveholidays · 2019

원인 클라우드 제공자 장애

IL-0003 etcd 클러스터 재구성 뒤 쿠버네티스 버그로 linkerd 가 서비스 위치 갱신을 받지 못했고, linkerd 를 모두 재시작하자 엔드포인트가 없는 서비스를 파싱하지 못하는 오류가 드러나 플랫폼 전체가 멈췄다Monzo · 2017

원인 소프트웨어 결함