사례1건

1건 중 1~1번째

1. IL-0422 eu-iceland1-a 의 VAST 공유 스토리지가 3주 동안 느려지고 끊기며 I/O 오류와 마운트 실패를 냈다

   Crusoe Cloud2025

   증상

   2025년 12월 16일 17:13 UTC 에 Crusoe Cloud 는 eu-iceland1-a 리전에서 Shared Storage 를 쓸 때 느려지는 문제를 조사하기 시작했다. 17:36 UTC 에는 영향 범위가 넓어져, 고객이 Shared Storage 서비스에서 심한 지연과 간헐적인 접근 문제를 겪었다.

   스토리지 연결 끊김처리량 저하

   원인

   unknown

   구성 요소

   공유 네트워크 파일 시스템

   기여 요인

   수동 조치 악화

   조치

   • 12월 16일 18:26 UTC 에 스토리지 성능 문제를 고치는 수정을 적용해 스토리지 지연과 처리량을 정상 수준으로 되돌렸다.
   • 12월 17일에 메타데이터 불일치를 완전히 없애려고 대상을 좁힌 무결성 검증을 돌렸다. 검사하는 동안 스토리지 클러스터를 보호용 유지보수 상태로 두어 데이터가 바뀌지 않도록 접근을 막았다.
   • 무결성 검증의 핵심 단계를 끝낸 뒤 넓게 걸어 둔 보호용 유지보수 제한을 풀어 대부분의 볼륨과 데이터 경로를 되살렸다.
   • 백그라운드 복구 작업을 고객 워크로드와 떼어 놓도록 설정을 바꿨고, 그 뒤 클러스터 성능이 안정되고 간헐적인 연결 흔들림이 줄었다.
   • VAST 와 함께 무결성 검사로 남은 불일치의 범위를 파악했고, 앞서 제한된 데이터에서 검증한 수동 복구 절차를 바탕으로 만든 자동 복구 절차를 돌렸다.
   • 12월 23일에 복구를 빠르게 하는 자동 도구를 담은 VAST 스토리지 소프트웨어 업그레이드를 배포하고, 남은 볼륨의 복구를 다시 이어 갔다.
   • 12월 26일 밤 VM 작업까지 번진 스토리지 네트워크 문제를 풀려고 VAST 가 클러스터를 재부팅했다.
   • 12월 27일에 VAST 가 기존 복구 작업을 더 빠르게 하는 설정 변경을 스토리지 노드에 적용했다. 작업은 약 15분 걸렸다.
   • 12월 28일에 오프라인이 된 스토리지 노드를 되살려 공유 디스크 성능과 VM 작업을 정상으로 되돌렸다.
   • 12월 28일, 30일, 31일과 1월 1일에 VAST 스토리지 소프트웨어를 더 업그레이드했다.

   후속 조치

   • VAST 는 사후 검토를 하고, 수동 단계에 기대지 않도록 자동화와 안전장치를 더해 비슷한 사고의 위험을 줄인다.
   • Crusoe 와 VAST 는 재발을 막으려고 최근 클러스터 안정성 전반을 빠짐없이 검토한다.

   사례 보기

원인별1