Incident Library

조직

Meta

Meta · meta

1건 · 2024년

원인 하드웨어 고장

구성 요소 GPU 하드웨어·메모리 NCCL PyTorch

기여 요인 단일 장애점

증상 GPU 인식 불가 NCCL 타임아웃 학습 작업 실패

사례

IL-0127 Llama 3 405B 사전 학습 54일 동안 학습 작업이 예기치 않게 419번 중단되었고, 주된 원인은 GPU 와 HBM3 메모리 고장이었다Meta · 2024
원인 하드웨어 고장