Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

구성 요소

InfiniBand 패브릭

InfiniBand fabric · infiniband

5건 · 2021년부터 2026년

원인 의존성 장애5건

기여 요인 모니터링 사각지대3건 런북 부재2건 미검증 가정1건 기본 설정 방치1건 디버그 접근 제한1건 한계 경보 부재1건 여유 용량 부재1건 장애 중첩1건 부분 배포1건 단일 장애점1건

증상 GPU 인식 불가3건 학습 작업 실패3건 링크 플래핑2건 NCCL 타임아웃2건

조직 Databricks1건 Imbue1건 Lambda1건 Meta AI1건 Nebius1건

사례, 심각도 순

IL-0134 AUS01 데이터센터에 전력 문제가 생겨 GPU 노드 246대와 스파인 스위치, VAST 스토리지가 한꺼번에 재부팅됐고, 워크로드가 실패하고 NFS 마운트가 끊겼다.Lambda · 2026 · sev1
원인 의존성 장애
IL-0133 폭풍으로 데이터센터 냉각이 멈춰 us-central1 리전 전체가 내려갔고, 디스크 핫플러그 버그로 Managed Kubernetes 컨트롤 플레인 약 140개의 복구가 길어졌다.Nebius · 2026
원인 의존성 장애
IL-0023 InfiniBand 포트 하나가 한 번 내려갔다 복구되면서 7시간째 돌던 학습 작업이 NCCL 타임아웃으로 죽었다

그래프에서 보기

컨트롤 플레인 무응답1건

모니터링 중단1건

서비스 중단1건

스토리지 연결 끊김1건

처리량 저하1건

Databricks · 2026

원인 의존성 장애

IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024

원인 의존성 장애

IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021

원인 의존성 장애