Incident Library

IL-0477 Tencent · 2026-07-08 (게시일)ai-infra

Tencent의 1만 GPU MoE 학습에서 계산이 느려진 노드 때문에 스텝 시간이 30초에서 90초 넘게 늘었다

ARGUS는 Tencent가 GPU 1만 개 넘는 운영 학습 클러스터에 배포한 실시간 추적·분석 시스템이다. ARGUS는 반복 시간을 보는 L1, 병렬 그룹 안의 랭크를 비교하는 L2 같은 단계를 거치며 진단 범위를 좁힌다. 이 클러스터에서 TP=1, PP=9, EP=32로 돌던 약 10,000 GPU 규모의 MoE 학습 작업이 느려졌다. TP는 텐서 병렬, PP는 파이프라인 병렬, EP는 전문가 병렬, DP는 데이터 병렬을 뜻한다. 반복 시간이 약 30초에서 90초 넘게 늘어 L1이 알림을 냈다. 이어서 L2가 DP 그룹 안의 랭크를 비교해 PP=7, DP=272~279에 있는 랭크 10352~10359의 mlp 계산 시간이 그룹 평균의 약 5.7배라는 것을 찾았다. 이 느린 랭크 8개는 랭크 10336~10367로 이루어진 32개짜리 EP 그룹에 속했다. EP 그룹 안의 dispatch 연산은 32개 랭크가 모두 참여해야 하므로 느린 8개가 이 집합 통신을 붙잡았고, EP 그룹 전체가 DP 단계의 ReduceScatter에 늦게 들어갔다. PP 단계 사이의 의존성 때문에 지연은 같은 PP 그룹의 다른 모든 PP 단계로 번졌다. 이로써 랭크 10352~10359의 계산 성능 저하가 근본 원인으로 확인되었다.

대역 외 모니터링 시스템은 영향받은 노드 하나에서 "server port down" 이벤트를 보고했고, 운영팀은 처음에 이것을 원인으로 보고 네트워크 수리 일정을 잡았다. 그러나 ARGUS의 추적에서는 이상이 통신과 무관한 순수 계산 연산자에서만 나타났다. 영향받은 노드를 교체하자 학습 속도가 바로 회복되었다.

심각도
–
영향 범위
MoE training job of about 10,000 GPUs: iteration time rose from about 30 s to over 90 s
영향 사용자
–
지역
–
감지까지
–
복구까지
–

증상

GPU 약 10,000개로 돌던 MoE 학습 작업의 반복 시간이 약 30초에서 90초 넘게 늘어 ARGUS의 L1 단계가 알림을 냈다. L1은 랭크마다 반복 시간 시계열을 모아 급등과 계단식 성능 저하를 찾는 단계다.

L2 단계가 DP 그룹 안의 랭크끼리 단계별 소요 시간을 비교했다. DP는 데이터 병렬, PP는 파이프라인 병렬, EP는 전문가 병렬을 뜻한다. 통신 없이 계산만 하는 mlp 단계에서 PP=7, DP=272~279에 있는 랭크 10352~10359의 변동 계수가 0.8을 넘었고, 이 랭크들의 소요 시간은 그룹 평균의 약 5.7배였다.

Grafana 히트맵에서 대부분의 랭크는 mlp 지연이 30~50 ms로 고르게 나왔지만 랭크 10352~10359는 170~280 ms였다. 반대로 ReduceScatter는 DP=256~287 범위의 모든 PP 단계에서 주변 랭크보다 짧게 나왔다. 느린 랭크 8개가 속한 EP 그룹 전체가 DP 단계의 ReduceScatter에 늦게 들어갔고, 그때는 다른 EP 그룹이 이미 준비되어 있어 기다리지 않고 바로 끝났기 때문이다.

같은 때 대역 외 모니터링 시스템이 영향받은 노드 중 하나에서 "server port down" 이벤트를 보고했다. 운영팀은 처음에 이것을 근본 원인으로 보고 네트워크 수리 일정을 잡았다. 그러나 ARGUS의 세밀한 추적에서는 이상이 통신이 전혀 없는 순수 계산 연산자에서만 나타났고, 이는 네트워크가 원인이라는 판단과 맞지 않았다.

증상 처리량 저하

원인

원인 하드웨어 고장

구성 요소 –
기여 요인 미검증 가정
촉발
–

감지

ARGUS의 L1 단계가 반복 시간이 약 30초에서 90초 넘게 늘어난 것을 잡아 알림을 냈다. 이어서 L2 단계가 DP 그룹 안의 랭크별 mlp 단계 소요 시간을 비교해 랭크 10352~10359를 찾았다.

조치

후속 조치

–

교훈

인프라 수준에서 보이는 통신 이상이 꼭 네트워크 하드웨어에서 생긴 것은 아니다. 계산 성능 저하가 집합 통신의 의존성을 타고 번져 통신 이상처럼 보일 수 있다. 세밀한 가시성이 없으면 운영자가 문제를 잘못 진단하고 효과 없는 조치를 할 위험이 있다. 1만 GPU 넘는 학습 클러스터에서 느려지는 고장의 형태는 매우 다양해서 진단 단계 하나로는 모든 경우를 다룰 수 없다.

출처

관련 사례

–

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.