Incident Library

IL-0415 NCSA · 2025-12-10 (게시일)ai-infra

Delta 의 A100 GPU 에서 GSP 오류, GPU Fallen Off the Bus 오류, NVLink 오류가 나 GPU 가 오류 상태에 빠지고 그 위의 작업이 실패했다

NCSA 가 운영하는 HPC 시스템 Delta 는 A100 과 H100 GPU 1,056개로 이루어진다. A100 448개는 4-way 와 8-way 노드 106대에, H100 608개는 4-way GH200 노드 152대에 있다. 일리노이대를 중심으로 한 연구진은 A100 은 2022년 10월부터 2025년 3월까지 895일, H100 은 2024년 10월부터 2025년 3월까지 146일, 합쳐 1,170만 GPU 시간의 운영 데이터를 분석했다. 연구진은 시스템 로그에서 정규식으로 XID 오류와 복구 기록을 뽑았고, 같은 GPU 에서 5초 안에 되풀이된 같은 오류는 하나로 묶었다. 그다음 Slurm 스케줄러 데이터베이스의 작업 종료 기록과 대조했다. 작업이 실패하기 전 20초 안에 GPU 오류가 있으면 GPU 때문에 실패한 작업으로 셌다.

A100 에서 가장 취약한 하드웨어는 GSP 였다. GSP 는 드라이버 작업을 CPU 에서 덜어 가는 GPU 보드 위의 보조 프로세서다. GSP 는 오류를 감지하고 복구하는 장치가 약해서, GSP 오류의 99% 이상이 GPU 를 오류 상태에 빠뜨리고 그 GPU 를 쓰던 작업을 실패시켰다. 복구에는 GPU 재설정이나 노드 재부팅이 필요했고, 논문은 GSP 가 A100 에서 단일 장애점이라고 판단했다. 한 사례에서는 A100 의 GSP 오류가 GPU 제어 기능을 멈춰 작업이 실패했고, 노드를 드레인하고 재부팅하는 데 오전 09:08 부터 다음 날 오전 08:21 까지 23 노드 시간이 걸렸다. GPU Fallen Off the Bus 오류는 GPU 와 메인보드의 연결이 헐겁거나 온도 변화가 되풀이되며 접촉이 나빠질 때 흔히 나는 하드웨어 연결 오류다. 이 오류는 거의 모두 GPU 를 오류 상태로 만들었다. NVLink 오류는 1,922건이었고, 두 사건에서는 GPU 재설정이 필요해 노드가 2시간 넘게 멈췄다.

H100 에서는 GSP 오류가 3건뿐이었고 GPU Fallen Off the Bus, NVLink, PMU SPI 오류는 나오지 않았다. 논문은 그 이유를 CPU 와 GPU 를 한 모듈로 묶은 GH200 의 구조와 NVIDIA 드라이버 업그레이드에서 찾았다. 전체적으로 MMU 와 NVLink 를 뺀 GPU 오류는 작업 쪽에서 처리할 수 없어 거의 100% 작업 실패로 이어졌다. 895일 동안 GPU 때문에 실패한 작업은 3,359개였다. 실패한 노드를 되살리는 데 A100 은 평균 0.88시간, H100 은 2.2시간이 걸렸고, GPU 다운타임으로 잃은 노드 시간은 모두 5,700시간이었다. 노드당 가용성은 A100 이 99.4%, H100 이 99.3% 였다.

심각도
–
영향 범위
A100 GPUs on Delta went into an error state and stayed unavailable until a GPU reset or node drain and reboot; jobs on them failed, 3,359 jobs failed on GPU errors overall and 5,700 node hours were lost to GPU downtime
영향 사용자
HPC and ML users from universities nationwide who run jobs on Delta
지역
–
감지까지
–
복구까지
–

증상

Delta 의 A100 GPU 노드에서 XID 119/120 GSP 오류, XID 79 GPU Fallen Off the Bus 오류, XID 74 NVLink 오류가 시스템 로그에 찍혔다. 그 뒤 GPU 가 오류 상태에 빠졌고, 그 GPU 에서 돌던 사용자 작업이 실패했다. GPU 는 재설정하거나 노드를 재부팅하기 전까지 쓸 수 없었다.

GSP 오류는 GPU 드라이버가 보낸 원격 프로시저 호출에 GSP 가 응답하지 않을 때 난다. A100 에서 3,857건이 기록되었다. GSP 오류가 한 번 나면 0.99 의 확률로 같은 오류가 되풀이되거나 GPU 가 동작할 수 없는 상태가 되었다. GSP 오류의 99% 는 전조가 되는 다른 오류 없이 단독으로 나타났다. GSP RPC timeout 을 만난 작업 31개는 모두 실패했다. H100 에서는 측정 기간 동안 GSP 오류가 3건뿐이었다.

GPU Fallen Off the Bus 오류는 GPU 드라이버가 시스템 버스로 GPU 에 닿지 못할 때 기록된다. A100 에서 10건이 있었고, 99% 이상은 같은 오류가 잇달아 이어진 끝에 GPU 가 오류 상태에 빠졌다.

NVLink 오류는 A100 에서 1,922건으로 잦았다. 오류 사이의 평균 시간인 MTBE 는 시스템 전체로 11시간, 노드당 1,185시간이었다. 그 가운데 42% 인 801건은 연결된 다른 GPU 로 번져 GPU 두 개 이상에 영향을 줬고, 번진 오류의 17% 는 같은 노드의 GPU 세 개 이상에 걸쳤다. 같은 GPU 에서는 0.38 의 확률로 곧 또 다른 NVLink 오류가 났고, 0.61 의 확률로 GPU 가 오류 상태에 남았다.

Delta 의 SRE 는 NVLink 오류가 대부분 해롭지 않고 늘 작업 실패로 이어지지는 않는다고 봤다. 그러나 작업 영향 분석에서는 NVLink 오류를 만난 작업 80개 가운데 43개, 53.75% 가 실패했다. GSP 오류와 NVLink 오류는 전조가 되는 하드웨어 오류가 없어서 메모리 오류보다 예측하기 어려웠다.

증상 GPU 인식 불가학습 작업 실패

원인

원인 하드웨어 고장

구성 요소 GPU 하드웨어·메모리GPU 드라이버
기여 요인 단일 장애점
촉발
Delta 의 SRE 는 GSP 오류가 무거운 ML 벤치마크 실행과 밀접하게 관련된다고 봤다. 논문은 GSP 오류의 원인으로 GSP 펌웨어 버그나 부하가 큰 워크로드를 들었다.

감지

NVIDIA 드라이버가 GPU 오류를 시스템 로그에 XID 오류로 남겼고, Delta 는 모든 계산 노드의 로그를 실시간으로 중앙 저장소에 보냈다. Delta 의 SRE 는 제때 복구하려고 GSP 오류를 주의 깊게 지켜봤다. 작업이 실패하면 DCGM 이 1분 단위로 모으는 GPU 사용률이 곧바로 떨어졌다.

조치

후속 조치

–

교훈

논문은 A100 에서 단일 장애점이 된 GSP 와 PMU, 그리고 PMU SPI 같은 통신 인터페이스의 오류 감지와 복구를 이중화와 오류 감지·정정 장치로 보강해야 한다고 결론지었다. AWS 는 성능보다 안정성을 위해 GSP 를 끄라고 권한다. 애플리케이션 수준의 복구는 대체로 효과가 없어서 GPU 메모리와 하드웨어 수준에서 복원력을 높여야 한다. 체크포인트는 관리와 저장과 복원을 합쳐 최대 40% 의 오버헤드가 든다. 시뮬레이션에서는 복구 시간이 2.2시간일 때 H100 608개를 한 달 쓰는 학습 작업이 작업 수준 가용성 99.9% 를 지키려면 GPU 를 5%, 곧 31개 더 둬야 했다. 복구 시간을 2.2시간에서 5분으로 줄이면 필요한 여유분이 2% 로 줄어 2.5배 적어지므로, 크고 오래 도는 작업에서는 복구 시간을 줄이는 일이 중요하다.

출처

참고 문서

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: GPU 하드웨어·메모리, GPU 드라이버. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.