Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

구성 요소

GPU 드라이버

GPU driver · gpu-driver

5건 · 2024년부터 2026년

원인 의존성 장애2건 소프트웨어 결함2건 배포 결함1건

기여 요인 미검증 가정3건 자동화 증폭2건 모니터링 사각지대2건 늦게 드러난 변경1건

증상 GPU 인식 불가4건 컨트롤 플레인 무응답2건 링크 플래핑1건 모니터링 중단1건

조직 Barush Mendez1건 Google Cloud1건 Imbue1건 Inflab1건 Linode1건

사례, 심각도 순

IL-0160 고쳐서 다시 돌린 레거시 GPU 모니터링 스크립트의 펌웨어 조회가 GSP 레이스 컨디션을 일으켜 Linode 의 RTX 4000 Ada GPU 가 잠기고 LKE 워커 노드의 GPU 작업이 멈췄다Linode · 2026
원인 배포 결함
IL-0171 Bottlerocket AMI 에 libdcgm.so 가 없어 GPU 노드의 AcceleratedHardwareReady 가 False 가 됐고, Karpenter 노드 자동 복구가 Ready 뒤 10~11분마다 GPU 노드를 교체하는 일을 끝없이 되풀이했다.Inflab · 2025
원인 소프트웨어 결함
IL-0138 nvidia-dkms-390 드라이버 빌드 실패로 망가진 커널 헤더가 몇 주 동안 방치됐다가, 정전 뒤 재부팅하자 하나뿐인 마스터 노드가 커널 패닉에 빠져 홈랩 쿠버네티스 클러스터가 6일 동안 멈췄다.

그래프에서 보기

초기 신호 무시1건

부분 배포1건

리뷰 누락1건

단일 장애점1건

NCCL 타임아웃1건

노드 NotReady1건

노드 재생성 반복1건

서비스 중단1건

처리량 저하1건

학습 작업 실패1건

Barush Mendez · 2025

원인 소프트웨어 결함

IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024

원인 의존성 장애

IL-0021 GKE 의 COS 노드가 NVIDIA GPU 드라이버를 403 Forbidden 으로 받지 못해 새로 만든 GPU 노드를 쓸 수 없었다Google Cloud · 2024

원인 의존성 장애