Incident Library

조직

Alibaba Group

Alibaba Group · alibaba-group

2건 · 2024년부터 2025년

원인 용량 한계1건하드웨어 고장1건
구성 요소 GPU 하드웨어·메모리2건InfiniBand 패브릭1건NCCL1건PyTorch1건
기여 요인 모니터링 사각지대2건미검증 가정1건장애 중첩1건
증상 GPU 인식 불가1건NCCL 타임아웃1건처리량 저하1건학습 작업 실패1건

사례

  1. IL-0421 Alibaba 의 LLM 학습 클러스터에서 GPU 결함을 비롯한 오류로 작업이 거듭 죽어 2023년 6월 한 작업이 시간의 31.19% 를 잃었다Alibaba Group · 2025

    원인 하드웨어 고장

  2. IL-0249 공유 GPU 클러스터의 대규모 학습 작업이 멈추지 않은 채 느려지는 fail-slow 로 완료 시간이 평균 1.34배로 늘었다Alibaba Group · 2024

    원인 용량 한계