사례2건

2건 중 1~2번째

1. IL-0586 T0 스위치 트랜시버의 링크 네 개가 연달아 플래핑해 50K GPU 사전 학습 작업의 처리량이 1분 동안 약 25% 떨어졌다

   OpenAI2026

   증상

   OpenAI 의 Cluster A 에서 50K GPU 로 돌던 운영 사전 학습 작업의 처리량이 1분 동안 약 25% 떨어졌다. 같은 시각 T0 스위치 한 대의 광 트랜시버에 달린 링크 네 개가 짧은 간격으로 연달아 내려갔다 올라왔다.

   링크 플래핑처리량 저하

   촉발

   T0 스위치의 광 트랜시버 하나가 순간적으로 오작동해 그 트랜시버의 링크 네 개가 짧은 간격으로 연달아 플래핑했다.

   원인

   하드웨어 고장

   구성 요소

   NIC·케이블·스위치 포트 링크

   기여 요인

   –

   감지

   NIC 와 T0 스위치가 각각 링크가 내려간 것을 기록했고, 두 기록의 시각은 정확히 같지 않았다. 작업 처리량 그래프와 노드별 패킷 손실률 그래프에 이 사건이 나타났다.

   조치

   • MRC 가 플래핑으로 잃은 패킷을 빠르게 복구해서 작업이 받은 영향은 비교적 작았다.

   교훈

   논문은 NIC 와 T0 사이의 링크를 잃으면 성능이 떨어진다고 했다. 다만 이런 사건은 대부분 잠깐이고, 작업이 노드를 빼지 않고도 금방 원래 속도로 돌아오는 경우가 많다고 했다. NIC 와 T0 사이의 링크와 T0 스위치는 눈에 띄는 영향을 주므로 T1 스위치보다 더 조심해서 다뤄야 한다고 했다. 단일 장애 지점도 남아 있다고 했다. 800 Gb/s NIC 광 모듈을 200 Gb/s 링크 네 개로 나눠 쓰므로 NIC 쪽 트랜시버 자체가 플래핑하면 그 NIC 의 포트를 모두 잃는다. 그러면 QP 가 실패하므로 작업이 이 상황을 견디지 못한다. 논문은 다른 광 설계를 쓰면 이 문제를 아예 피할 수 있을 것이라고 했다.

   사례 보기
2. IL-0238 PCIe A100 1만 장 규모의 Fire-Flyer 2 학습 클러스터에서 GPU Xid 오류와 InfiniBand 링크의 순간 끊김으로 학습 작업이 끊기고 실패했다

   DeepSeek2024

   증상

   DeepSeek-AI 의 Fire-Flyer 2 학습 클러스터에서 NVIDIA 드라이버가 운영체제의 커널 로그나 이벤트 로그에 GPU Xid 오류를 남겼다. 지난 1년 동안 Xid 오류는 12970건이었고, 그중 NVLink 오류인 Xid 74 가 5521건으로 42.57% 였다. InfiniBand 링크가 순간적으로 끊겨 애플리케이션 통신이 끊기고 작업이 실패하기도 했다.

   GPU 인식 불가링크 플래핑학습 작업 실패학습 발산과 손실 급등

   원인

   하드웨어 고장

   구성 요소

   GPU 하드웨어·메모리InfiniBand 패브릭

   기여 요인

   –

   감지

   Xid 오류는 NVIDIA 드라이버가 운영체제의 커널 로그나 이벤트 로그에 남긴 메시지로 잡았다. 플랫폼의 자동 운영 시스템은 매주 노드에서 validator 를 돌려 하드웨어 이상을 찾았다. ECC 가 잡지 못한 계산 오류와 GPU 메모리 오류는 모델의 gradnorm 급등과 손실 폭발로 드러났다.

   조치

   • 메모리 ECC 오류인 Xid 63, Xid 64, Xid 94, Xid 95 는 A100 의 row remapping 기술 덕에 대부분 GPU 를 리셋하는 것만으로 풀었다.
   • 고칠 수 없는 GPU 오류인 Xid 44, Xid 48, Xid 61, Xid 62, Xid 69, Xid 79 는 GPU 리셋이나 노드 재부팅으로 지웠다.
   • GPU GSP 모듈이 실패한 Xid 119 가 난 GPU 는 fieldiag 테스트를 거쳐 대부분 RMA 로 보냈다.
   • 자동 운영 시스템이 매주 노드에서 validator 를 돌려 고장 난 노드를 스케줄링 플랫폼에서 뺐다.
   • 하드웨어 장애로 끊긴 학습은 보통 5분마다 비동기로 저장한 체크포인트에서 이어 돌렸고, 그래서 마지막 5분의 진행만 잃었다.

   교훈

   장치를 안정되게 하려면 문제가 터지기 전에 찾는 것이 가장 좋다. 하드웨어 장애를 빨리 찾아 분류하는 것이 클러스터 노드의 가동률과 사용률을 높이는 핵심이다. 애플리케이션의 성능과 정확도를 지키려면 GPU ECC 오류를 곧바로 처리해야 한다. Xid 74 는 되풀이되는 오류를 스트레스 테스트로 걸러 내는 것 말고는 막을 방법이 마땅치 않다. 소프트웨어 쪽 Xid 오류도 메모리 데이터 손상에서 생길 수 있으므로, 소프트웨어 버그가 아니라면 하드웨어 고장을 의심해야 한다. NVLink 는 단점도 있으므로 실제로 필요할 때 설치해야 한다.

   사례 보기

원인별1