Incident Library

조직

Meta AI

Meta AI · meta-ai

1건 · 2021년

원인 의존성 장애
구성 요소 GPU 하드웨어·메모리InfiniBand 패브릭NCCL오브젝트 스토리지
기여 요인 디버그 접근 제한런북 부재여유 용량 부재
증상 GPU 인식 불가학습 작업 실패

사례

  1. IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021

    원인 의존성 장애