사례1건

1건 중 1~1번째

1. IL-0484 Slurm 업그레이드 뒤 GPU 설정이 맞지 않고 다운그레이드도 실패해 MIT CSAIL 공용 GPU 클러스터가 수요일 아침까지 멈췄다

   MIT CSAIL2025

   증상

   9월 8일 월요일의 계획된 점검에서 Slurm 24.05를 25.05로 올렸다. 화요일 아침에 업그레이드한 Slurm 패키지가 올바른 GPU 설정에 필요한 기능 없이 컴파일된 것이 드러났다. 클러스터는 정상 서비스로 돌아오지 못했다.

   업그레이드 정체서비스 중단

   촉발

   9월 8일 월요일의 계획된 점검에서 Slurm 24.05를 Slurm 25.05로 올렸고, 새 패키지가 GPU 설정에 필요한 기능 없이 컴파일되어 있었다.

   원인

   업그레이드로 깨진 호환성

   구성 요소

   Slurm 작업 스케줄러데이터베이스 백업과 스냅숏

   기여 요인

   롤백 무효미검증 백업

   감지

   인프라 그룹은 점검 다음 날인 화요일 아침에 업그레이드한 Slurm 패키지가 GPU 설정에 필요한 기능 없이 컴파일되었다는 것을 발견했다.

   조치

   • 이전에 잘 돌던 Slurm 버전으로 다운그레이드했다.
   • 알려진 상태로 돌아가려고 모든 컴퓨트 노드에 OS를 다시 설치했고, 배포 서비스가 감당하지 못해 중간 상태로 남은 시스템은 하나씩 손봤다.
   • 단순 다운그레이드와 백업 복원이 실패하자 깨끗한 데이터베이스 위에 클러스터를 처음부터 다시 배포했다.

   후속 조치

   • 이번 장애에서 배운 것을 바탕으로 테스트와 배포 절차를 개선한다.

   교훈

   다운그레이드 과정에서 겪은 두 가지 큰 어려움은 배포 절차와 테스트 절차의 결함을 드러냈다. 모든 노드의 OS 재설치는 배포 서비스의 용량을 넘었고, 업그레이드 계획에서 놓친 부분 때문에 단순 다운그레이드와 백업 복원으로는 되돌릴 수 없었다.

   사례 보기

원인별1