Incident Library

증상

학습 발산과 손실 급등

Training divergence or loss spike · training-divergence

4건 · 2024년부터 2026년

원인 하드웨어 고장4건
구성 요소 GPU 하드웨어·메모리3건데이터센터 전력·냉각1건InfiniBand 패브릭1건NCCL1건오브젝트 스토리지1건학습 데이터 로더1건
기여 요인 모니터링 사각지대2건
조직 Amazon Web Services1건ByteDance1건DeepSeek1건Shanghai AI Laboratory1건

사례

  1. IL-0416 LLM 학습에서 SDC 결함이 있는 GPU 가 ECC 오류나 온도 경보 없이 계산을 조용히 망가뜨려 손실이 치솟거나 작업이 멈췄다ByteDance · 2026

    원인 하드웨어 고장

  2. IL-0479 가속기 노드의 조용한 데이터 손상이 오류 신호 없이 LLM 학습의 계산값과 기울기와 가중치를 바꿨다Amazon Web Services · 2025

    원인 하드웨어 고장

  3. IL-0238 PCIe A100 1만 장 규모의 Fire-Flyer 2 학습 클러스터에서 GPU Xid 오류와 InfiniBand 링크의 순간 끊김으로 학습 작업이 끊기고 실패했다DeepSeek · 2024

    원인 하드웨어 고장

  4. IL-0239 LLM 개발 클러스터 Acme 의 Seren 과 Kalos 에서 사전 학습 작업이 하드웨어, 네트워크, 프레임워크 오류로 자주 실패해 학습 진행을 잃었다Shanghai AI Laboratory · 2024

    원인 하드웨어 고장

그래프에서 보기