Incident Library

IL-0481 Infrawaves · 2026-06-01 (게시일)ai-infranetworking

RoCEv2 학습 클러스터에서 RNIC 포트가 플랩한 뒤 GID 가 바뀌어 집합 통신이 깨지고 LLM 학습 작업에 크래시가 났다

Infrawaves 는 대규모 GPU 학습 클러스터를 구축하고 운영하는 회사다. 이 회사는 NCCL 을 바탕으로 만든 집합 통신 라이브러리 VCCL 을 자사 클러스터에 배포했다. 이 클러스터에서는 RNIC 포트가 자주 내려가고, 논문에 따르면 짧은 링크 플랩의 절반쯤은 몇 초 안에 회복된다. 논문은 VCCL 을 배포하며 얻은 교훈 가운데 하나로 RoCEv2 환경에서 GID 가 바뀐 장애를 다룬다. GID 는 초기화한 뒤에는 바뀌지 않아야 하는 값이다. 그런데 운영체제의 기본 네트워크 관리자인 NetworkManager 로 IP 주소를 설정하면, RNIC 포트가 플랩한 뒤 원래 IP 주소를 다시 받아도 GID 가 하나 올라갔다. 포트가 내려간 동안 IP 주소가 잠깐 사라졌기 때문이다. 예측할 수 없게 바뀐 GID 때문에 집합 통신이 무너졌고 LLM 학습 작업에 크래시가 났다.

드라이버 수준의 패치로도 GID 가 올라가는 것을 막을 수 있다. 하지만 논문은 이 패치가 가상화 네트워크에서 호환성 문제를 일으킬 위험이 있다고 적었다. Infrawaves 는 드라이버 패치 대신 IP 주소를 설정하는 방법을 바꿨다. Ubuntu 에는 NetworkManager 와 Networking 서비스라는 두 가지 기본 IP 설정 방법이 있다. Networking 서비스로 IP 주소를 설정하자 포트가 내려가도 IP 주소가 사라지지 않았고 GID 숫자도 바뀌지 않았다. 논문은 다른 Linux 배포판도 비슷한 방법으로 IP 주소를 설정할 수 있다고 적었다.

심각도
–
영향 범위
LLM training jobs: the communication collective collapsed and the training job crashed
영향 사용자
–
지역
–
감지까지
–
복구까지
–

증상

Infrawaves 가 운영하는 RoCEv2 GPU 학습 클러스터에서 RNIC 포트가 잠깐 내려갔다 다시 올라오는 플랩이 생긴 뒤 집합 통신이 무너지고 LLM 학습 작업에 크래시가 났다. RNIC 는 RDMA 를 지원하는 네트워크 카드다.

원인을 따라가 보니 포트의 Global Identifier, 줄여서 GID 가 바뀌어 있었다. RoCEv2 환경에서 GID 는 초기화한 뒤에는 바뀌지 않아야 하는 값이다. 포트가 플랩하는 동안 포트의 IP 주소가 잠깐 사라졌다. 포트가 원래 주소를 다시 받았는데도 GID 숫자는 하나 올라가 있었다. GID 가 언제 바뀔지는 예측할 수 없었다.

증상 링크 플래핑학습 작업 실패

원인

원인 소프트웨어 결함

구성 요소 NIC·케이블·스위치 포트 링크InfiniBand 패브릭NCCL호스트 라우팅 규칙
기여 요인 기본 설정 방치
촉발
장애는 RNIC 포트 플랩에서 시작됐다. 운영체제의 기본 네트워크 관리자인 NetworkManager 로 IP 주소를 설정한 서버에서는 포트가 내려간 동안 포트의 IP 주소가 잠깐 사라졌다. 원래 주소가 다시 돌아왔을 때 GID 는 하나 올라가 있었다.

감지

–

조치

후속 조치

–

교훈

네트워크 설정은 VCCL 의 신뢰성을 좌우한다. RoCEv2 환경에서는 포트가 내려가도 IP 주소를 유지하는 방법으로 IP 주소를 설정해야 GID 가 바뀌지 않는다. GID 가 올라가는 것을 막는 드라이버 패치는 가상화 네트워크에서 호환성 문제를 일으킬 위험이 있었다. 그래서 Infrawaves 는 가볍고 믿을 만한 대안으로 IP 설정 방법을 바꿨다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: NIC·케이블·스위치 포트 링크, InfiniBand 패브릭, NCCL. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.