Incident Library

조직

ByteDance

ByteDance · bytedance

1건 · 2024년

원인 DNS·네트워크 장애

구성 요소 NCCL NIC·케이블·스위치 포트 링크

기여 요인 기본 설정 방치

증상 링크 플래핑 NCCL 타임아웃 처리량 저하

사례

IL-0128 1만 개 넘는 GPU 로 학습하는 클러스터에서 네트워크 인터페이스가 몇 초씩 끊겼다 붙는 플래핑이 NCCL 타임아웃을 일으켜 학습이 멈추거나 느려졌다.ByteDance · 2024
원인 DNS·네트워크 장애