사례1건
1건 중 1~1번째
- 증상
2025년 12월 16일 17:13 UTC 에 Crusoe Cloud 는 eu-iceland1-a 리전에서 Shared Storage 를 쓸 때 느려지는 문제를 조사하기 시작했다. 17:36 UTC 에는 영향 범위가 넓어져, 고객이 Shared Storage 서비스에서 심한 지연과 간헐적인 접근 문제를 겪었다.
- 원인
- 구성 요소
- 기여 요인
- 조치
- 12월 16일 18:26 UTC 에 스토리지 성능 문제를 고치는 수정을 적용해 스토리지 지연과 처리량을 정상 수준으로 되돌렸다.
- 12월 17일에 메타데이터 불일치를 완전히 없애려고 대상을 좁힌 무결성 검증을 돌렸다. 검사하는 동안 스토리지 클러스터를 보호용 유지보수 상태로 두어 데이터가 바뀌지 않도록 접근을 막았다.
- 무결성 검증의 핵심 단계를 끝낸 뒤 넓게 걸어 둔 보호용 유지보수 제한을 풀어 대부분의 볼륨과 데이터 경로를 되살렸다.
- 백그라운드 복구 작업을 고객 워크로드와 떼어 놓도록 설정을 바꿨고, 그 뒤 클러스터 성능이 안정되고 간헐적인 연결 흔들림이 줄었다.
- VAST 와 함께 무결성 검사로 남은 불일치의 범위를 파악했고, 앞서 제한된 데이터에서 검증한 수동 복구 절차를 바탕으로 만든 자동 복구 절차를 돌렸다.
- 12월 23일에 복구를 빠르게 하는 자동 도구를 담은 VAST 스토리지 소프트웨어 업그레이드를 배포하고, 남은 볼륨의 복구를 다시 이어 갔다.
- 12월 26일 밤 VM 작업까지 번진 스토리지 네트워크 문제를 풀려고 VAST 가 클러스터를 재부팅했다.
- 12월 27일에 VAST 가 기존 복구 작업을 더 빠르게 하는 설정 변경을 스토리지 노드에 적용했다. 작업은 약 15분 걸렸다.
- 12월 28일에 오프라인이 된 스토리지 노드를 되살려 공유 디스크 성능과 VM 작업을 정상으로 되돌렸다.
- 12월 28일, 30일, 31일과 1월 1일에 VAST 스토리지 소프트웨어를 더 업그레이드했다.
- 후속 조치
- VAST 는 사후 검토를 하고, 수동 단계에 기대지 않도록 자동화와 안전장치를 더해 비슷한 사고의 위험을 줄인다.
- Crusoe 와 VAST 는 재발을 막으려고 최근 클러스터 안정성 전반을 빠짐없이 검토한다.
내 클러스터에도 있는지 확인하기
이 사례에서 가장 많이 나오는 구성 요소: 공유 네트워크 파일 시스템. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.