사례2건
2건 중 1~2번째
- 증상
2025년 12월 16일 17:13 UTC 에 Crusoe Cloud 는 eu-iceland1-a 리전에서 Shared Storage 를 쓸 때 느려지는 문제를 조사하기 시작했다. 17:36 UTC 에는 영향 범위가 넓어져, 고객이 Shared Storage 서비스에서 심한 지연과 간헐적인 접근 문제를 겪었다.
- 원인
- 구성 요소
- 기여 요인
- 조치
- 12월 16일 18:26 UTC 에 스토리지 성능 문제를 고치는 수정을 적용해 스토리지 지연과 처리량을 정상 수준으로 되돌렸다.
- 12월 17일에 메타데이터 불일치를 완전히 없애려고 대상을 좁힌 무결성 검증을 돌렸다. 검사하는 동안 스토리지 클러스터를 보호용 유지보수 상태로 두어 데이터가 바뀌지 않도록 접근을 막았다.
- 무결성 검증의 핵심 단계를 끝낸 뒤 넓게 걸어 둔 보호용 유지보수 제한을 풀어 대부분의 볼륨과 데이터 경로를 되살렸다.
- 백그라운드 복구 작업을 고객 워크로드와 떼어 놓도록 설정을 바꿨고, 그 뒤 클러스터 성능이 안정되고 간헐적인 연결 흔들림이 줄었다.
- VAST 와 함께 무결성 검사로 남은 불일치의 범위를 파악했고, 앞서 제한된 데이터에서 검증한 수동 복구 절차를 바탕으로 만든 자동 복구 절차를 돌렸다.
- 12월 23일에 복구를 빠르게 하는 자동 도구를 담은 VAST 스토리지 소프트웨어 업그레이드를 배포하고, 남은 볼륨의 복구를 다시 이어 갔다.
- 12월 26일 밤 VM 작업까지 번진 스토리지 네트워크 문제를 풀려고 VAST 가 클러스터를 재부팅했다.
- 12월 27일에 VAST 가 기존 복구 작업을 더 빠르게 하는 설정 변경을 스토리지 노드에 적용했다. 작업은 약 15분 걸렸다.
- 12월 28일에 오프라인이 된 스토리지 노드를 되살려 공유 디스크 성능과 VM 작업을 정상으로 되돌렸다.
- 12월 28일, 30일, 31일과 1월 1일에 VAST 스토리지 소프트웨어를 더 업그레이드했다.
- 후속 조치
- VAST 는 사후 검토를 하고, 수동 단계에 기대지 않도록 자동화와 안전장치를 더해 비슷한 사고의 위험을 줄인다.
- Crusoe 와 VAST 는 재발을 막으려고 최근 클러스터 안정성 전반을 빠짐없이 검토한다.
- 증상
Vela 의 GPU 노드는 PCI-E Gen3 와 Gen4 링크를 쓴다. 그런데 때때로 링크 성능이 4 GB/s 처럼 PCI-E Gen 1 과 비슷한, 더 낮은 세대 수준으로 떨어졌다. 이 노드가 낀 학습 작업은 몇 % 에서 2배까지 느려졌다.
- 원인
- 구성 요소
- 기여 요인
- –
- 감지
Autopilot 이 모든 노드에서 NVIDIA 의 CUDA 코드로 PCI-E 링크를 주기적으로 시험했다. 이 시험은 가벼워서 고객 워크로드를 거의 방해하지 않았다. 워크로드와 시험이 같은 자원을 두고 다퉈 생기는 오탐을 막으려고, 한 시간마다 모은 값 12개의 평균이 임계값 아래로 떨어질 때만 경보를 냈다. 링크가 저하된 노드는 Grafana 대시보드에 표시되었다. 임계값은 PCI-E 링크 세대마다 다르다.
- 조치
- 95% 이상의 경우 PCI-E 장치를 재설정해 문제를 풀었다. 재설정은 주로 VM 을 재부팅해서 했다.
- VM 을 주기적으로 재부팅했다.
- 후속 조치
- Autopilot 으로 NVIDIA 의 CUDA 코드를 써서 PCI-E 링크 검사를 주기적으로 돌리고, 12시간 평균으로 경보를 낸다.
- PCI-E 링크 저하의 근본 원인을 계속 조사한다.
- 교훈
수백, 수천 개의 GPU 를 함께 쓰는 분산 학습에서는 노드 한 대의 성능만 떨어져도 작업 전체가 느려진다. 그래서 IBM 은 작업이 도는 동안에도 가벼운 검사를 모든 노드에서 주기적으로 돌려, 성능을 서서히 떨어뜨리는 링크 저하를 미리 찾는다. 이런 검사와 경보 덕분에 SRE 는 사용자가 신고하면 디버깅하던 방식에서 사용자가 알기 전에 먼저 알리는 방식으로 바뀌었고, 근본 원인을 찾는 시간을 2배 넘게 줄였다.
이 2건에서 가장 많이 나오는 구성 요소: PCIe 링크, 공유 네트워크 파일 시스템. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.