IL-0422 Crusoe Cloud · 2025-12-16ai-infra

eu-iceland1-a 의 VAST 공유 스토리지가 3주 동안 느려지고 끊기며 I/O 오류와 마운트 실패를 냈다

2025년 12월 16일 17:13 UTC 에 Crusoe Cloud 는 eu-iceland1-a 리전의 Shared Storage 가 느려지는 문제를 조사하기 시작했다. 이 리전의 공유 스토리지는 VAST 스토리지 소프트웨어로 도는 클러스터이고, Crusoe 는 스토리지 공급사 VAST 와 함께 대응했다. 18:26 UTC 에 수정을 적용하자 스토리지 지연과 처리량이 정상으로 돌아왔지만, 일부 고객에게는 간헐적인 지연이 남았다. 밤에는 스토리지 메타데이터 불일치를 바로잡고 네트워크 연결을 안정시키는 작업이 이어졌다. 12월 17일 00:49 UTC 에는 메타데이터 불일치를 없애려고 무결성 검증을 돌리고 있었다. 검사 중에 데이터가 바뀌지 않도록 클러스터를 보호용 유지보수 상태로 두어 접근을 막았다. 이 때문에 특정 볼륨과 파일에서 마운트 실패와 I/O 오류가 났다. 02:05 UTC 에 검증의 핵심 단계를 끝내고 제한을 풀자 대부분의 볼륨이 돌아왔다. 그러나 02:53 UTC 에는 스토리지 컨트롤 플레인 문제로 VM 작업과 공유 볼륨의 생성, 수정, 삭제가 실패했다. 백그라운드 복구 작업이 도는 동안 성능 흔들림과 연결 끊김이 이어졌다. 23:11 UTC 에 백그라운드 복구 작업을 고객 워크로드와 떼어 놓도록 설정을 바꾸자 클러스터가 안정되기 시작했다.

12월 18일에는 대부분의 고객이 정상으로 돌아왔다. 메타데이터 불일치가 남은 일부 볼륨은 무결성 검사로 범위를 파악했고, VAST 는 제한된 데이터에서 검증한 수동 복구 절차를 바탕으로 자동 복구 절차를 만들었다. 12월 23일에는 복구를 빠르게 하는 자동 도구를 담은 VAST 스토리지 소프트웨어 업그레이드를 배포한 뒤 남은 볼륨의 복구를 다시 시작했다. 같은 날 19:52:53 UTC 부터 20:03:47 UTC 까지 약 10분 동안 모든 공유 볼륨의 읽기, 쓰기, 업데이트가 실패했다. VAST 가 데이터를 복구하면서 손으로 한 관리 작업에서 실수를 했기 때문이었다.

12월 26일에는 공유 볼륨 접근에 영향을 주는 스토리지 네트워크 문제가 두 번 새로 생겼다. 11:17 UTC 에 생긴 첫 번째 문제는 14:39 UTC 에 네트워크 계층을 안정시켜 풀었다. 22:54 UTC 에 생긴 두 번째 문제는 VM 생성, 시작, 정지, 삭제까지 번졌고, VAST 가 클러스터를 재부팅했다. 12월 27일 03:45 UTC 에 해결을 확인했고, 같은 날 VAST 가 복구 작업을 빠르게 하는 설정 변경을 스토리지 노드에 적용했다. 12월 28일 11:10 UTC 에는 스토리지 구성 요소 여러 개가 예기치 않게 오프라인이 되었다가 13:48 UTC 에 복구되었다. 그 뒤 12월 28일, 30일, 31일과 1월 1일에 VAST 스토리지 소프트웨어를 더 업그레이드했다. 1월 2일에 남은 복구 작업을 모두 끝내고 모니터링 단계로 넘어갔고, 1월 7일 17:25 UTC 에 인시던트를 끝냈다.

심각도

–

영향 범위

Shared volumes (Shared Disks) in eu-iceland1-a were slow, intermittently unreachable, returned I/O errors or failed to mount; VM create, start, stop and delete operations and shared volume create, update and delete operations failed at times; all shared volumes failed reads and writes for about 10 minutes on 23 December

영향 사용자

–

지역

eu-iceland1-a

감지까지

–

복구까지

22d 12m