Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

NCCL 타임아웃

NCCL timeout · nccl-timeout

4건 · 2024년부터 2026년

원인 의존성 장애2건 DNS·네트워크 장애1건 하드웨어 고장1건

구성 요소 NCCL4건 PyTorch3건 InfiniBand 패브릭2건 GPU 드라이버1건 GPU 하드웨어·메모리

기여 요인 기본 설정 방치2건 모니터링 사각지대2건 미검증 가정1건 부분 배포1건

조직 ByteDance1건 Databricks1건 Imbue1건 Meta1건

사례

IL-0023 InfiniBand 포트 하나가 한 번 내려갔다 복구되면서 7시간째 돌던 학습 작업이 NCCL 타임아웃으로 죽었다Databricks · 2026
원인 의존성 장애
IL-0127 Llama 3 405B 사전 학습 54일 동안 학습 작업이 예기치 않게 419번 중단되었고, 주된 원인은 GPU 와 HBM3 메모리 고장이었다Meta · 2024
원인 하드웨어 고장
IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다 · 2024

그래프에서 보기

1건

NIC·케이블·스위치 포트 링크1건

단일 장애점1건

원인 의존성 장애

IL-0128 1만 개 넘는 GPU 로 학습하는 클러스터에서 네트워크 인터페이스가 몇 초씩 끊겼다 붙는 플래핑이 NCCL 타임아웃을 일으켜 학습이 멈추거나 느려졌다.ByteDance · 2024

원인 DNS·네트워크 장애