Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

학습 작업 실패

Training job failure · training-job-failed

5건 · 2021년부터 2026년

원인 의존성 장애3건 하드웨어 고장2건

구성 요소 NCCL5건 PyTorch4건 InfiniBand 패브릭3건 GPU 하드웨어·메모리2건 GPU 드라이버1건 오브젝트 스토리지1건 Slurm 작업 스케줄러1건

기여 요인 기본 설정 방치2건 디버그 접근 제한2건 모니터링 사각지대2건 미검증 가정1건

조직 BigScience1건 Databricks1건 Imbue1건 Meta1건 Meta AI1건

사례

IL-0023 InfiniBand 포트 하나가 한 번 내려갔다 복구되면서 7시간째 돌던 학습 작업이 NCCL 타임아웃으로 죽었다Databricks · 2026
원인 의존성 장애
IL-0127 Llama 3 405B 사전 학습 54일 동안 학습 작업이 예기치 않게 419번 중단되었고, 주된 원인은 GPU 와 HBM3 메모리 고장이었다Meta · 2024
원인 하드웨어 고장
IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다 · 2024

그래프에서 보기

런북 부재1건

여유 용량 부재1건

부분 배포1건

단일 장애점1건

원인 의존성 장애

IL-0125 Jean Zay 에서 진행한 176B 다국어 모델 학습에서 GPU 가 고장 나도 학습 작업이 끝나지 않고 멈춰 버려 SLURM 이 작업을 자동으로 재시작하지 못했다.BigScience · 2022

원인 하드웨어 고장

IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021

원인 의존성 장애