사례2건

2건 중 1~2번째

1. IL-0412 InfiniBand 링크 오류와 링크 flapping 으로 Meta RSC-1 의 bring-up 단계에서 백엔드 패브릭 대역폭이 최대 50~75% 줄었다

   Meta2024

   증상

   RSC-1 의 bring-up 단계에서 InfiniBand 백엔드 패브릭의 대역폭이 최대 50~75% 줄었다. InfiniBand 링크 오류, 줄여서 IB 링크 오류는 RSC-1 과 RSC-2 에서 학습 작업 실패의 큰 원인이기도 했다.

   처리량 저하링크 플래핑학습 작업 실패

   원인

   의존성 장애

   구성 요소

   InfiniBand 패브릭NIC·케이블·스위치 포트 링크

   기여 요인

   –

   감지

   5분마다 도는 노드 헬스 체크가 IB 링크 오류를 잡았다. IB 링크 오류는 높은 심각도 점검이라 걸리면 스케줄러가 바로 노드를 뺐고, 논문은 작업 실패 전후에 감지된 점검 결과로 실패 원인을 정했다.

   조치

   • 클러스터에 Adaptive Routing 을 켜서, 패킷이 혼잡한 곳과 상태가 나쁜 링크를 피하도록 해 성능을 예측할 수 있게 했다.
   • IB 링크 오류를 높은 심각도 헬스 체크에 넣어, 오류가 나면 스케줄러가 노드를 바로 빼고 그 노드에서 돌던 작업을 모두 다시 스케줄하게 했다.

   교훈

   논문은 네트워크가 고장 난 링크를 빼고 그 주변으로 경로를 돌려야 한다고 밝혔다. 이런 복원 장치가 없으면 50% 넘는 대역폭을 잃을 수 있다. 앞으로는 패브릭이 고장을 피해 토폴로지를 다시 구성하는 식으로, 불안정을 없애기보다 덜 드러나게 하는 인프라가 필요하다고 봤다. NCCL timeout 처럼 원인이 여럿일 수 있는 오류는 네트워크 문제로 성급히 판단하기 쉬우니 조심해야 한다.

   사례 보기
2. IL-0397 거래소 NSE 로 가는 CTCL 하나의 주 전용 회선이 끊기고 예비 회선도 끊겼다 붙기를 되풀이해, 그 CTCL 을 지난 주문이 거래소에 들어가지 못하고 대기 상태에 머물렀다

   Zerodha2018

   증상

   2018년 4월 12일 12:12 무렵부터 일부 고객의 주문이 거래소에 들어가지 않고 open pending, validation pending, modify pending 상태에 머물렀다. 영향을 받은 것은 NSE 로 연결하는 CTCL 하나를 지난 주문이었다.

   링크 플래핑

   촉발

   12:12 무렵 CTCL 하나의 NSE 주 전용 회선이 끊겼고, 자동으로 넘어간 예비 회선도 60분 동안 여러 번 끊겼다 붙기를 되풀이했다.

   원인

   의존성 장애

   구성 요소

   NIC·케이블·스위치 포트 링크

   기여 요인

   –

   감지

   회선이 끊겼다 붙기를 되풀이하는 동안 Zerodha 는 NSE 가 승인한 전용 회선 업체에게서 알림 메일을 받았다.

   조치

   • 문제의 CTCL 을 완전히 꺼서 새 주문이 더 영향을 받지 않게 했다.
   • CTCL 을 끈 뒤 대기 상태로 보이던 주문을 lapse 처리하고 거래소와 대사했다.

   후속 조치

   • 이달 말 배포에서 bracket order 와 cover order 를 열린 포지션에서 바로 청산하는 선택지를 넣는다. 지금은 청산 선택지가 반대편 미체결 주문에만 보인다. 반대편 주문이 보이지 않을 때도 포지션 화면에서 BO/CO 포지션을 바로 청산할 수 있게 한다.

   사례 보기

원인별1