IL-0429 Tsinghua University · 2022-05-07ai-infra
GLM-130B 사전 학습이 노드 고장으로 거듭 중단됐고 Lustre 오류로 2.3T 말뭉치를 읽지 못했다
GLM-130B 는 70층, hidden 12288 의 130B 모델이고, 96개 노드에서 MP 4, PP 8, 전역 배치 4224 로 학습했다. 환경은 PyTorch 1.11, CUDA 11.3, DeepSpeed 0.6.1 이었다. 학습은 2022-05-06 04:00 에 시작했다.
2022-05-07 에 n30041 과 n30157 이 고장 나자 팀은 4000 step 에서 다시 시작했고, 체크포인트 저장 간격을 500 step 에서 100 step 으로 줄였다. 그 뒤로도 노드 고장, 연결 끊김, GPU 누락, CPU 오류, NVLink 오류가 날 때마다 체크포인트에서 다시 시작했다. 2022-05-20 에는 n30066 이 고장 난 뒤 다른 노드 풀로 옮겨 15600 step 에서 다시 시작했다. 2022-05-21 에는 처리량이 127T 로 떨어져 교체 노드 n30076 을 뺐지만 달라지지 않았다.
2022-05-30 에는 global_step23200 에서 다시 시작하자 데이터 로딩에서 멈췄다. Lustre 파일 시스템 오류로 2.3T 텍스트 말뭉치를 읽을 수 없었고 엔지니어도 데이터를 복구하지 못해, 팀은 백업 디스크에서 파일 시스템으로 데이터를 다시 복사했다. 복사에는 며칠이 걸렸다. 2022-06-06 에는 노드 클러스터를 업그레이드하는 점검이 있었고, 그 뒤 파일 시스템 읽기 속도가 크게 좋아져 체크포인트를 1분 만에 읽었다.
- 심각도
- –
- 영향 범위
- The GLM-130B pretraining run on 96 nodes was restarted from checkpoints after ten interruptions between 2022-05-07 and 2022-06-26 (node breakdowns, a lost connection, missing GPUs, a CPU error, an unexpected termination suspected to be a network communication problem and an NVLink error), and waited a few days for the 2.3T corpus to be copied back after the Lustre error
- 영향 사용자
- –
- 지역
- –
- 감지까지
- –
- 복구까지
- –
증상
96개 노드에서 돌던 GLM-130B 사전 학습이 2022년 5월과 6월 내내 노드 고장, GPU 누락, 연결 끊김으로 여러 번 멈췄다. 2022-05-30 에는 재시작이 데이터 로딩에서 멈춰 더 나아가지 않았다.
학습 기록에 남은 하드웨어 문제는 이랬다. 2022-05-07 20:14 에 n30041 과 n30157 이 고장 났다. 2022-05-11 12:13 에 n30115, 2022-05-20 00:03 에 n30066, 2022-06-19 00:10 에 n30085 가 고장 났다. 2022-05-22 19:27 에 n30126 의 연결이 끊겼고, 2022-05-26 04:30 에 n30039 가 GPU 가 없다고 보고했다. 2022-06-02 12:00 에 n30145 에서 CPU 오류가 났고, 2022-06-08 08:00 에 또 노드가 고장 났다. 2022-06-26 16:00 에는 예기치 않은 NVLink 오류가 났다.
2022-06-09 13:30 에는 학습이 예기치 않게 끝났고, 팀은 네트워크 통신 문제를 의심했다.
2022-05-21 12:40 에는 학습 처리량이 127T flops 로 전보다 낮았다. 학습 전 속도 시험에서는 134TFLOPS 와 141TFLOPS 가 나왔다. 팀은 교체해 넣은 n30076 에 알 수 없는 오류가 있다고 의심해 이 노드를 뺐지만 아무것도 달라지지 않았다.
2022-05-30 에 global_step23200 에서 다시 시작하자 학습이 데이터 로딩에서 멈췄다. 원인은 Lustre 파일 시스템 오류였고, 2.3T 텍스트 말뭉치를 읽을 수 없었다. 엔지니어도 데이터를 복구하지 못했다.
원인
원인 하드웨어 고장
- 촉발
- 학습 중에 계산 노드가 고장 나거나 연결이 끊기거나 GPU 를 잃었고, 2022-05-30 재시작 때는 Lustre 파일 시스템 오류가 났다.
감지
처리량 저하는 학습 flops 가 127T 로 전보다 낮은 것을 보고 알아챘다. Lustre 파일 시스템 오류는 재시작이 데이터 로딩에서 멈춘 것을 보고 찾아냈다. n30039 는 GPU 가 없다고 스스로 보고했다.
조치
- 노드가 고장 날 때마다 마지막으로 저장한 step 에서 학습을 다시 시작했다.
- 체크포인트 저장 간격을 500 step 에서 100 step 으로 줄였다. 500 step 은 너무 길었다.
- 다른 노드 풀로 옮겨 15600 step 에서 다시 시작했다.
- 교체해 넣은 n30076 에 알 수 없는 오류가 있다고 보고 16600 step 부터 이 노드를 뺐지만, 처리량은 달라지지 않았다.
- 2.3T 텍스트 말뭉치를 백업 디스크에서 파일 시스템으로 다시 복사했고, 며칠이 걸렸다.
후속 조치
–
교훈
–
출처
관련 사례
같은 원인 · 공통 GPU 하드웨어·메모리
IL-0415Delta 의 A100 GPU 에서 GSP 오류, GPU Fallen Off the Bus 오류, NVLink 오류가 나 GPU 가 오류 상태에 빠지고 그 위의 작업이 실패했다NCSA · 2025같은 원인 · 공통 GPU 하드웨어·메모리
같은 원인 · 공통 GPU 하드웨어·메모리
IL-0421Alibaba 의 LLM 학습 클러스터에서 GPU 결함을 비롯한 오류로 작업이 거듭 죽어 2023년 6월 한 작업이 시간의 31.19% 를 잃었다Alibaba Group · 2025같은 원인 · 공통 GPU 하드웨어·메모리
IL-0414NCSA Delta 의 H100 GPU 에서 uncorrectable 메모리 오류가 A100 보다 잦게 나 사용자 작업이 실패하고 노드가 내려갔다NCSA · 2025같은 원인 · 공통 GPU 하드웨어·메모리
같은 원인 · 공통 GPU 하드웨어·메모리
IL-0238PCIe A100 1만 장 규모의 Fire-Flyer 2 학습 클러스터에서 GPU Xid 오류와 InfiniBand 링크의 순간 끊김으로 학습 작업이 끊기고 실패했다DeepSeek · 2024같은 원인 · 공통 GPU 하드웨어·메모리
같은 원인 · 공통 GPU 하드웨어·메모리
IL-0239LLM 개발 클러스터 Acme 의 Seren 과 Kalos 에서 사전 학습 작업이 하드웨어, 네트워크, 프레임워크 오류로 자주 실패해 학습 진행을 잃었다Shanghai AI Laboratory · 2024같은 원인 · 공통 GPU 하드웨어·메모리
같은 원인 · 공통 GPU 하드웨어·메모리
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0429
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0429/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.