사례1건

1건 중 1~1번째

1. IL-0477 Tencent의 1만 GPU MoE 학습에서 계산이 느려진 노드 때문에 스텝 시간이 30초에서 90초 넘게 늘었다

   Tencent2026

   증상

   GPU 약 10,000개로 돌던 MoE 학습 작업의 반복 시간이 약 30초에서 90초 넘게 늘어 ARGUS의 L1 단계가 알림을 냈다. L1은 랭크마다 반복 시간 시계열을 모아 급등과 계단식 성능 저하를 찾는 단계다.

   처리량 저하

   원인

   하드웨어 고장

   구성 요소

   –

   기여 요인

   미검증 가정

   감지

   ARGUS의 L1 단계가 반복 시간이 약 30초에서 90초 넘게 늘어난 것을 잡아 알림을 냈다. 이어서 L2 단계가 DP 그룹 안의 랭크별 mlp 단계 소요 시간을 비교해 랭크 10352~10359를 찾았다.

   조치

   • 영향받은 노드를 교체했고, 교체 직후 학습 속도가 회복되었다.

   교훈

   인프라 수준에서 보이는 통신 이상이 꼭 네트워크 하드웨어에서 생긴 것은 아니다. 계산 성능 저하가 집합 통신의 의존성을 타고 번져 통신 이상처럼 보일 수 있다. 세밀한 가시성이 없으면 운영자가 문제를 잘못 진단하고 효과 없는 조치를 할 위험이 있다. 1만 GPU 넘는 학습 클러스터에서 느려지는 고장의 형태는 매우 다양해서 진단 단계 하나로는 모든 경우를 다룰 수 없다.

   사례 보기

원인별1