사례1건

1건 중 1~1번째

1. IL-0429 GLM-130B 사전 학습이 노드 고장으로 거듭 중단됐고 Lustre 오류로 2.3T 말뭉치를 읽지 못했다

   Tsinghua University2022

   증상

   96개 노드에서 돌던 GLM-130B 사전 학습이 2022년 5월과 6월 내내 노드 고장, GPU 누락, 연결 끊김으로 여러 번 멈췄다. 2022-05-30 에는 재시작이 데이터 로딩에서 멈춰 더 나아가지 않았다.

   학습 작업 실패노드 NotReadyGPU 인식 불가스토리지 연결 끊김처리량 저하

   촉발

   학습 중에 계산 노드가 고장 나거나 연결이 끊기거나 GPU 를 잃었고, 2022-05-30 재시작 때는 Lustre 파일 시스템 오류가 났다.

   원인

   하드웨어 고장

   구성 요소

   GPU 하드웨어·메모리공유 네트워크 파일 시스템

   기여 요인

   –

   감지

   처리량 저하는 학습 flops 가 127T 로 전보다 낮은 것을 보고 알아챘다. Lustre 파일 시스템 오류는 재시작이 데이터 로딩에서 멈춘 것을 보고 찾아냈다. n30039 는 GPU 가 없다고 스스로 보고했다.

   조치

   • 노드가 고장 날 때마다 마지막으로 저장한 step 에서 학습을 다시 시작했다.
   • 체크포인트 저장 간격을 500 step 에서 100 step 으로 줄였다. 500 step 은 너무 길었다.
   • 다른 노드 풀로 옮겨 15600 step 에서 다시 시작했다.
   • 교체해 넣은 n30076 에 알 수 없는 오류가 있다고 보고 16600 step 부터 이 노드를 뺐지만, 처리량은 달라지지 않았다.
   • 2.3T 텍스트 말뭉치를 백업 디스크에서 파일 시스템으로 다시 복사했고, 며칠이 걸렸다.

   사례 보기

원인별1