Incident Library

IL-0484 MIT CSAIL · 2025-09-08ai-infradatabase

Slurm 업그레이드 뒤 GPU 설정이 맞지 않고 다운그레이드도 실패해 MIT CSAIL 공용 GPU 클러스터가 수요일 아침까지 멈췄다

MIT CSAIL 인프라 그룹은 9월 8일 월요일에 클러스터 소프트웨어를 크게 바꾸려고 하루 종일 서비스를 멈추는 점검을 계획했다. 여기에는 Slurm 24.05를 Slurm 25.05로 올리는 업그레이드가 들어 있었고, 이 업그레이드는 여러 단계를 거쳐야 했다. Slurm 데이터베이스 구성 요소의 업그레이드가 오래 걸려, 평소의 재부팅과 드라이버 업데이트는 밤늦게야 끝났다.

인프라 그룹은 화요일 아침에 업그레이드한 Slurm 패키지가 올바른 GPU 설정에 필요한 기능 없이 컴파일되었다는 것을 알았다. 인프라 그룹은 서비스를 가장 빨리 되살리는 방법으로, 이전에 잘 돌던 버전으로 다운그레이드하기로 했다. 알려진 상태로 돌아가려면 모든 컴퓨트 노드에 OS를 다시 설치해야 했는데, 이 작업이 배포 서비스의 용량을 넘어 시스템 대부분이 중간 상태로 남았다. 같은 때 업그레이드 계획에서 놓친 부분 때문에 컨트롤러와 데이터베이스를 단순히 다운그레이드해서는 되지 않았고, 백업에서 복원하는 데도 실패했다. 인프라 그룹은 깨끗한 데이터베이스 위에 클러스터를 처음부터 다시 배포했고, 수요일 아침에 스케줄러가 정상으로 돌아왔다.

심각도
–
영향 범위
Shared Slurm GPU compute cluster out of normal service from the planned maintenance on Monday until Wednesday morning
영향 사용자
–
지역
–
감지까지
–
복구까지
–

증상

9월 8일 월요일의 계획된 점검에서 Slurm 24.05를 25.05로 올렸다. 화요일 아침에 업그레이드한 Slurm 패키지가 올바른 GPU 설정에 필요한 기능 없이 컴파일된 것이 드러났다. 클러스터는 정상 서비스로 돌아오지 못했다.

이전 버전으로 다운그레이드하려고 모든 컴퓨트 노드에 OS를 다시 설치하자, 그 작업량이 배포 서비스가 감당할 수 있는 양을 넘었다. 시스템 대부분이 설치가 끝나지 않은 중간 상태로 남아 하나씩 손봐야 했다.

컨트롤러와 데이터베이스를 단순히 다운그레이드하는 것으로는 되돌아가지 않았고, 백업에서 복원하는 것도 실패했다. 스케줄러는 수요일 아침에야 정상으로 돌아왔다.

증상 업그레이드 정체서비스 중단

원인

원인 업그레이드로 깨진 호환성

구성 요소 Slurm 작업 스케줄러데이터베이스 백업과 스냅숏
기여 요인 롤백 무효미검증 백업
촉발
9월 8일 월요일의 계획된 점검에서 Slurm 24.05를 Slurm 25.05로 올렸고, 새 패키지가 GPU 설정에 필요한 기능 없이 컴파일되어 있었다.

감지

인프라 그룹은 점검 다음 날인 화요일 아침에 업그레이드한 Slurm 패키지가 GPU 설정에 필요한 기능 없이 컴파일되었다는 것을 발견했다.

조치

후속 조치

교훈

다운그레이드 과정에서 겪은 두 가지 큰 어려움은 배포 절차와 테스트 절차의 결함을 드러냈다. 모든 노드의 OS 재설치는 배포 서비스의 용량을 넘었고, 업그레이드 계획에서 놓친 부분 때문에 단순 다운그레이드와 백업 복원으로는 되돌릴 수 없었다.

출처

관련 사례

–

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: Slurm 작업 스케줄러, 데이터베이스 백업과 스냅숏. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.