사례1건

1건 중 1~1번째

1. IL-0481 RoCEv2 학습 클러스터에서 RNIC 포트가 플랩한 뒤 GID 가 바뀌어 집합 통신이 깨지고 LLM 학습 작업에 크래시가 났다

   Infrawaves2026

   증상

   Infrawaves 가 운영하는 RoCEv2 GPU 학습 클러스터에서 RNIC 포트가 잠깐 내려갔다 다시 올라오는 플랩이 생긴 뒤 집합 통신이 무너지고 LLM 학습 작업에 크래시가 났다. RNIC 는 RDMA 를 지원하는 네트워크 카드다.

   링크 플래핑학습 작업 실패

   촉발

   장애는 RNIC 포트 플랩에서 시작됐다. 운영체제의 기본 네트워크 관리자인 NetworkManager 로 IP 주소를 설정한 서버에서는 포트가 내려간 동안 포트의 IP 주소가 잠깐 사라졌다. 원래 주소가 다시 돌아왔을 때 GID 는 하나 올라가 있었다.

   원인

   소프트웨어 결함

   구성 요소

   NIC·케이블·스위치 포트 링크InfiniBand 패브릭NCCL호스트 라우팅 규칙

   기여 요인

   기본 설정 방치

   조치

   • Infrawaves 는 Ubuntu 에서 RNIC 포트의 IP 주소를 NetworkManager 대신 Networking 서비스로 설정하도록 바꿨다. 그러자 포트가 내려가도 IP 주소가 그대로 남았고 GID 가 바뀌지 않았다.

   교훈

   네트워크 설정은 VCCL 의 신뢰성을 좌우한다. RoCEv2 환경에서는 포트가 내려가도 IP 주소를 유지하는 방법으로 IP 주소를 설정해야 GID 가 바뀌지 않는다. GID 가 올라가는 것을 막는 드라이버 패치는 가상화 네트워크에서 호환성 문제를 일으킬 위험이 있었다. 그래서 Infrawaves 는 가볍고 믿을 만한 대안으로 IP 설정 방법을 바꿨다.

   사례 보기

원인별1