Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

링크 플래핑

Link flapping · link-flapping

3건 · 2024년부터 2026년

원인 의존성 장애2건 DNS·네트워크 장애1건

구성 요소 NCCL3건 InfiniBand 패브릭2건 PyTorch2건 GPU 드라이버1건 NIC·케이블·스위치 포트 링크1건

기여 요인 기본 설정 방치2건 모니터링 사각지대2건 미검증 가정1건 부분 배포1건

조직 ByteDance1건 Databricks1건 Imbue1건

사례

IL-0023 InfiniBand 포트 하나가 한 번 내려갔다 복구되면서 7시간째 돌던 학습 작업이 NCCL 타임아웃으로 죽었다Databricks · 2026
원인 의존성 장애
IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024
원인 의존성 장애
IL-0128 1만 개 넘는 GPU 로 학습하는 클러스터에서 네트워크 인터페이스가 몇 초씩 끊겼다 붙는 플래핑이 NCCL 타임아웃을 일으켜 학습이 멈추거나 느려졌다. · 2024

그래프에서 보기

원인 DNS·네트워크 장애