Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

구성 요소

NCCL

NCCL · nccl

6건 · 2021년부터 2026년

원인 의존성 장애3건 하드웨어 고장2건 DNS·네트워크 장애1건

기여 요인 기본 설정 방치3건 디버그 접근 제한2건 모니터링 사각지대2건 미검증 가정1건

증상 학습 작업 실패5건 GPU 인식 불가4건 NCCL 타임아웃4건 링크 플래핑3건

조직 BigScience1건 ByteDance1건 Databricks1건 Imbue1건 Meta1건

사례, 심각도 순

IL-0023 InfiniBand 포트 하나가 한 번 내려갔다 복구되면서 7시간째 돌던 학습 작업이 NCCL 타임아웃으로 죽었다Databricks · 2026
원인 의존성 장애
IL-0127 Llama 3 405B 사전 학습 54일 동안 학습 작업이 예기치 않게 419번 중단되었고, 주된 원인은 GPU 와 HBM3 메모리 고장이었다Meta · 2024
원인 하드웨어 고장
IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다 · 2024

그래프에서 보기

런북 부재1건

여유 용량 부재1건

부분 배포1건

단일 장애점1건

처리량 저하2건

원인 의존성 장애

IL-0128 1만 개 넘는 GPU 로 학습하는 클러스터에서 네트워크 인터페이스가 몇 초씩 끊겼다 붙는 플래핑이 NCCL 타임아웃을 일으켜 학습이 멈추거나 느려졌다.ByteDance · 2024

원인 DNS·네트워크 장애

IL-0125 Jean Zay 에서 진행한 176B 다국어 모델 학습에서 GPU 가 고장 나도 학습 작업이 끝나지 않고 멈춰 버려 SLURM 이 작업을 자동으로 재시작하지 못했다.BigScience · 2022

원인 하드웨어 고장

IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021

원인 의존성 장애