Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

GPU 인식 불가

GPU unavailable · gpu-unavailable

10건 · 2021년부터 2026년

원인 의존성 장애5건 하드웨어 고장2건 배포 결함1건 소프트웨어 결함1건 업그레이드로 깨진 호환성1건

구성 요소 GPU 드라이버4건 NCCL4건 InfiniBand 패브릭3건 노드 운영체제 이미지3건 PyTorch

기여 요인 미검증 가정3건 디버그 접근 제한3건 자동화 증폭2건 단일 장애점2건

조직 BigScience1건 Crusoe Cloud1건 Google Cloud1건 Imbue1건 Inflab

사례

IL-0160 고쳐서 다시 돌린 레거시 GPU 모니터링 스크립트의 펌웨어 조회가 GSP 레이스 컨디션을 일으켜 Linode 의 RTX 4000 Ada GPU 가 잠기고 LKE 워커 노드의 GPU 작업이 멈췄다Linode · 2026
원인 배포 결함
IL-0134 AUS01 데이터센터에 전력 문제가 생겨 GPU 노드 246대와 스파인 스위치, VAST 스토리지가 한꺼번에 재부팅됐고, 워크로드가 실패하고 NFS 마운트가 끊겼다.Lambda · 2026 · sev1
원인 의존성 장애
IL-0171 Bottlerocket AMI 에 libdcgm.so 가 없어 GPU 노드의 AcceleratedHardwareReady 가 False 가 됐고, Karpenter 노드 자동 복구가 Ready 뒤 10~11분마다 GPU 노드를 교체하는 일을 끝없이 되풀이했다.

그래프에서 보기

3건

데이터센터 전력·냉각2건

GPU 하드웨어·메모리2건

오브젝트 스토리지1건

공유 네트워크 파일 시스템1건

Slurm 작업 스케줄러1건

systemd-networkd1건

텔레메트리 에이전트1건

기본 설정 방치1건

모니터링 사각지대1건

런북 부재1건

여유 용량 부재1건

단계적 배포 부재1건

장애 중첩1건

부분 배포1건

리뷰 누락1건

1건

Inflab · 2025

원인 소프트웨어 결함

IL-0120 클라우드 GPU 서버의 정기 OS 업데이트가 systemd-networkd 를 재시작해 자체 네트워크 에이전트와 충돌했고, 많은 GPU 노드의 라우트가 모두 지워져 ChatGPT 와 API 의 오류율이 크게 올랐다.OpenAI · 2025

원인 업그레이드로 깨진 호환성

IL-0127 Llama 3 405B 사전 학습 54일 동안 학습 작업이 예기치 않게 419번 중단되었고, 주된 원인은 GPU 와 HBM3 메모리 고장이었다Meta · 2024

원인 하드웨어 고장

IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024

원인 의존성 장애

IL-0021 GKE 의 COS 노드가 NVIDIA GPU 드라이버를 403 Forbidden 으로 받지 못해 새로 만든 GPU 노드를 쓸 수 없었다Google Cloud · 2024

원인 의존성 장애

IL-0135 UPS 를 바이패스 모드로 둔 정기 점검 중 전원이 예비 전원으로 넘어가면서 데이터센터 한 열이 정전됐고, 그 열의 GPU VM 이 모두 꺼졌다.Crusoe Cloud · 2023

원인 의존성 장애

IL-0125 Jean Zay 에서 진행한 176B 다국어 모델 학습에서 GPU 가 고장 나도 학습 작업이 끝나지 않고 멈춰 버려 SLURM 이 작업을 자동으로 재시작하지 못했다.BigScience · 2022

원인 하드웨어 고장

IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021

원인 의존성 장애