Incident Library

조직

Shanghai AI Laboratory

Shanghai AI Laboratory · shanghai-ai-laboratory

1건 · 2024년

원인 하드웨어 고장
구성 요소 데이터센터 전력·냉각GPU 하드웨어·메모리NCCL오브젝트 스토리지학습 데이터 로더
기여 요인 –
증상 GPU 인식 불가NCCL 타임아웃학습 발산과 손실 급등학습 작업 실패

사례

  1. IL-0239 LLM 개발 클러스터 Acme 의 Seren 과 Kalos 에서 사전 학습 작업이 하드웨어, 네트워크, 프레임워크 오류로 자주 실패해 학습 진행을 잃었다Shanghai AI Laboratory · 2024

    원인 하드웨어 고장