Incident Library

IL-0423 Paperspace · 2024-06-16ai-infranetworking

NY2 리전의 Gradient 노트북과 Core VM 이 읽기 전용 모드에 빠져 다음 날까지 쓸 수 없었다

2024년 6월 16일 NY2 리전의 코어 스위치가 고장 나 트래픽이 급증했고 네트워크 성능이 떨어졌다. 가상 머신은 자신이 올라가 있는 네트워크 파일 시스템에 닿지 못하자 읽기 전용 모드로 들어갔다. 그래서 UTC 10:30 무렵부터 고객은 Gradient 노트북과 Core VM 에서 쓰기 작업을 할 수 없었다. 같은 날 UTC 18:20 에 영향받은 가상 머신의 네트워크 연결이 돌아왔지만 가상 머신은 읽기 전용 모드에 머물렀다. 6월 17일 UTC 5:58 부터 12:23 사이에 가상 머신을 읽기-쓰기 모드로 되돌렸고, 12:24 에 고객이 가상 머신에 다시 접근할 수 있게 되었다. 회복하는 동안 Core 가 먼저 고쳐졌고 Gradient 는 성능 저하가 이어졌다. Paperspace 는 재발을 막으려고 네트워크를 다시 설계하고 새 장비를 설치하는 작업을 진행하고 있다고 밝혔다.

심각도
–
영향 범위
A large number of VMs in NY2, including Gradient notebooks and Core VMs, went read-only and unavailable; Gradient kept degraded performance during recovery
영향 사용자
Paperspace Gradient and Core customers in NY2
지역
NY2
감지까지
–
복구까지
1d 1h 54m

증상

2024년 6월 16일 UTC 10:30 무렵부터 NY2 리전의 가상 머신 다수가 읽기 전용 모드로 바뀌었고, 고객은 그 가상 머신에서 쓰기 작업을 전혀 할 수 없었다. 상태 페이지의 첫 공지는 네트워크 문제로 사용자가 NY2 의 Gradient 노트북과 Core VM 을 쓰지 못하고 있으며, 그 문제를 조사하고 있다고 알렸다.

상태 페이지는 EDT 기준 6월 16일 07:16 에 조사를 시작했다고 알린 뒤 08:13, 08:22, 11:23, 15:03 에 조사를 이어 가고 있다는 공지만 냈다. 17:55 에야 원인이 NY2 의 네트워크 문제라고 밝히고, 수정을 적용하고 있다고 알렸다.

같은 날 UTC 18:20 에 네트워크 연결은 돌아왔지만 가상 머신은 여전히 읽기 전용 모드여서 쓸 수 없었다. 가상 머신은 6월 17일 UTC 5:58 부터 12:23 사이에 읽기-쓰기 모드로 돌아왔다.

EDT 기준 6월 16일 20:11 에 Paperspace 는 여러 수정을 적용하고 결과를 지켜보고 있다고 알렸다. Core 는 이미 고쳐졌지만 Gradient 플랫폼은 회복에 시간이 걸려 성능 저하가 이어졌다.

증상 스토리지 연결 끊김네트워크 도달 불가서비스 중단

원인

원인 DNS·네트워크 장애

구성 요소 공유 네트워크 파일 시스템
기여 요인 –
촉발
NY2 리전의 코어 스위치가 고장 났다.

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

–

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 공유 네트워크 파일 시스템. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.