Incident Library

조직

BigScience

BigScience · bigscience

1건 · 2022년

원인 하드웨어 고장
구성 요소 NCCLPyTorchSlurm 작업 스케줄러
기여 요인 기본 설정 방치디버그 접근 제한
증상 GPU 인식 불가학습 작업 실패

사례

  1. IL-0125 Jean Zay 에서 진행한 176B 다국어 모델 학습에서 GPU 가 고장 나도 학습 작업이 끝나지 않고 멈춰 버려 SLURM 이 작업을 자동으로 재시작하지 못했다.BigScience · 2022

    원인 하드웨어 고장