사례1건

1건 중 1~1번째

1. IL-0412 InfiniBand 링크 오류와 링크 flapping 으로 Meta RSC-1 의 bring-up 단계에서 백엔드 패브릭 대역폭이 최대 50~75% 줄었다

   Meta2024

   증상

   RSC-1 의 bring-up 단계에서 InfiniBand 백엔드 패브릭의 대역폭이 최대 50~75% 줄었다. InfiniBand 링크 오류, 줄여서 IB 링크 오류는 RSC-1 과 RSC-2 에서 학습 작업 실패의 큰 원인이기도 했다.

   처리량 저하링크 플래핑학습 작업 실패

   원인

   의존성 장애

   구성 요소

   InfiniBand 패브릭NIC·케이블·스위치 포트 링크

   기여 요인

   –

   감지

   5분마다 도는 노드 헬스 체크가 IB 링크 오류를 잡았다. IB 링크 오류는 높은 심각도 점검이라 걸리면 스케줄러가 바로 노드를 뺐고, 논문은 작업 실패 전후에 감지된 점검 결과로 실패 원인을 정했다.

   조치

   • 클러스터에 Adaptive Routing 을 켜서, 패킷이 혼잡한 곳과 상태가 나쁜 링크를 피하도록 해 성능을 예측할 수 있게 했다.
   • IB 링크 오류를 높은 심각도 헬스 체크에 넣어, 오류가 나면 스케줄러가 노드를 바로 빼고 그 노드에서 돌던 작업을 모두 다시 스케줄하게 했다.

   교훈

   논문은 네트워크가 고장 난 링크를 빼고 그 주변으로 경로를 돌려야 한다고 밝혔다. 이런 복원 장치가 없으면 50% 넘는 대역폭을 잃을 수 있다. 앞으로는 패브릭이 고장을 피해 토폴로지를 다시 구성하는 식으로, 불안정을 없애기보다 덜 드러나게 하는 인프라가 필요하다고 봤다. NCCL timeout 처럼 원인이 여럿일 수 있는 오류는 네트워크 문제로 성급히 판단하기 쉬우니 조심해야 한다.

   사례 보기

원인별1