Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

원인

의존성 장애

Dependency failure · dependency-failure

13건 · 2019년부터 2026년

구성 요소 InfiniBand 패브릭5건 데이터센터 전력·냉각3건 NCCL3건 노드 운영체제 이미지3건 GPU 드라이버2건 노드 풀2건 PyTorch2건 어드미션 웹훅1건 클라우드 블록 스토리지1건 컨테이너 런타임1건 파드용 자격 증명 중개자1건 애플리케이션 데이터베이스1건 DNS 서버와 레코드1건 etcd1건 GPU 하드웨어·메모리1건 라이브니스·레디니스 프로브1건 Istio1건 오브젝트 스토리지1건 컨테이너 레지스트리와 자격 증명1건 서비스 디스커버리1건 공유 네트워크 파일 시스템1건 텔레메트리 에이전트1건 VPC DNS 리졸버1건

기여 요인 모니터링 사각지대4건 자동화 증폭3건 기본 설정 방치3건 단일 장애점3건

증상 GPU 인식 불가5건 서비스 중단3건 학습 작업 실패3건 컨트롤 플레인 무응답2건

조직 Linode2건 Crusoe Cloud1건 Databricks1건 FREE NOW1건 Google Cloud

사례

IL-0133 폭풍으로 데이터센터 냉각이 멈춰 us-central1 리전 전체가 내려갔고, 디스크 핫플러그 버그로 Managed Kubernetes 컨트롤 플레인 약 140개의 복구가 길어졌다.Nebius · 2026
IL-0023 InfiniBand 포트 하나가 한 번 내려갔다 복구되면서 7시간째 돌던 학습 작업이 NCCL 타임아웃으로 죽었다Databricks · 2026
IL-0134 AUS01 데이터센터에 전력 문제가 생겨 GPU 노드 246대와 스파인 스위치, VAST 스토리지가 한꺼번에 재부팅됐고, 워크로드가 실패하고 NFS 마운트가 끊겼다.Lambda · 2026 · sev1
IL-0187 Spring Cloud Config Server 가 잠깐 내려가자 이를 헬스 체크에 포함한 모든 앱의 Liveness Probe 가 실패해 쿠버네티스가 파드를 계속 죽이고 다시 띄우면서 한 계열사 서비스가 마비됐다.Yonghyun Kim · 2025
IL-0162 데이터베이스 업데이트 뒤 LKE 내부 DNS 서비스가 멈춰 사용자가 LKE 클러스터 컨트롤 플레인과 LKE 대시보드에 접속하지 못했다Linode · 2025
IL-0103 EKS 노드 AMI 업데이트로 파드가 한꺼번에 다시 뜨자 인증서 요청이 몰린 외부 CA 가 과부하에 걸려 Istio 사이드카가 CrashLoopBackOff 에 빠졌다. · 2025 · sev1

그래프에서 보기

과도한 영향 범위2건

한계 미인지2건

런북 부재2건

장애 중첩2건

미검증 가정1건

미패치 알려진 버그1건

디버그 접근 제한1건

한계 경보 부재1건

여유 용량 부재1건

부분 배포1건

컨테이너 재시작 반복2건

링크 플래핑2건

NCCL 타임아웃2건

노드 NotReady2건

프로브 실패2건

노드 증설 실패1건

자격 증명 획득 실패1건

DNS 조회 실패1건

지연 시간 증가1건

이미지 풀 실패1건

모니터링 중단1건

파드 Pending1건

스토리지 연결 끊김1건

처리량 저하1건

부하 불균형1건

1건

Tetrate (unnamed U.S. federal customer)1건

Yonghyun Kim1건

Tetrate (unnamed U.S. federal customer)

IL-0159 Docker Hub 의 남용 방지 장치가 Linode 의 IPv6 주소 대역에 레이트 리밋을 걸어 LKE 와 LKE-E 의 이미지 풀이 429 Too Many Requests 로 실패했다.Linode · 2025

IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024

IL-0021 GKE 의 COS 노드가 NVIDIA GPU 드라이버를 403 Forbidden 으로 받지 못해 새로 만든 GPU 노드를 쓸 수 없었다Google Cloud · 2024

IL-0135 UPS 를 바이패스 모드로 둔 정기 점검 중 전원이 예비 전원으로 넘어가면서 데이터센터 한 열이 정전됐고, 그 열의 GPU VM 이 모두 꺼졌다.Crusoe Cloud · 2023

IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021

IL-0039 CentOS 저장소 재구성으로 kops nodeup 에 하드코딩된 container-selinux 패키지 주소가 깨져 새 워커 노드가 클러스터에 합류하지 못했다FREE NOW · 2019

IL-0073 Kafka 연결이 끊기자 로깅 사이드카가 Docker 데몬에 부하를 주어 노드가 줄줄이 비정상이 되었고, 재스케줄링으로 생긴 노드 약 41,000개가 Consul gossip 메시를 오염시켜 Vault 와 배포 엔진까지 멈췄다Target · 2019 · sev1