IL-0021 Google Cloud · 2024-03-12kubernetesgcpai-infra
2024-03-12 US/Pacific 08:00 부터 14:55 까지 6시간 55분 동안 GKE 에서 Container-Optimized OS 용 NVIDIA GPU 드라이버 일부를 내려받지 못했다. 다운로드가 실패한 GPU 노드는 드라이버가 작동하지 않았고, 일부는 쓸 수 없는 상태가 됐다. 영향을 받은 것은 T4, L4, H100 80GB, A100 GPU 와 COS milestone 105 이상, 드라이버 R525 이상을 쓰는 노드였다.
예비 분석으로는 드라이버 다운로드에 필요한 스토리지 버킷에 접근할 수 없게 되면서 장애가 났다. 이 버킷은 GPU 드라이버를 공급하는 Google 의 파트너가 갖고 있었다. Google 은 장애 중에 GPU 드라이버 다운로드를 시도하는 자동 노드 재생성을 멈춰 영향을 줄였고, 파트너와 함께 근본 문제를 풀었다. 다른 GKE 기능은 정상으로 돌았다.
Google 은 15:39 공지에서 문제가 15:09 에 해결됐다고 알렸다. 자동 복구를 끈 고객은 GPU 를 다시 쓰려면 영향받은 노드를 다시 만들거나 재시작해야 할 수도 있었다.
2024-03-12 US/Pacific 08:00 부터 GKE 에서 Container-Optimized OS 를 쓰는 GPU 노드가 일부 NVIDIA GPU 드라이버를 받지 못했다. 새로 만들거나 다시 만든 노드는 GPU 드라이버가 작동하지 않았고, 그 드라이버를 쓰는 워크로드가 돌지 못했다.
GPU 노드에서 드라이버를 설치할 때 "Failed to download GPU driver installer, status: 403 Forbidden" 오류가 났다. 일부 노드는 아예 쓸 수 없는 상태가 됐다.
영향은 T4, L4, H100 80GB, A100 GPU 를 COS milestone 105 이상에서 쓰면서 R525 이상의 드라이버를 설치하려던 노드에 한정됐다. P4, P100, V100, K80 의 드라이버 다운로드는 정상이었다. GPU 를 제공하는 모든 리전과 존이 영향을 받았다.
자동 노드 재생성은 GPU 드라이버 다운로드를 시도하기 때문에, 다시 만들어진 노드에서도 같은 오류가 났다. 장애 중에는 우회 방법이 없었다. Google 은 기존 GPU 노드를 다시 만들지 않으면 영향을 줄일 수 있다고 안내했다.
원인 의존성 장애
보고서는 Google 이 장애를 어떻게 알아챘는지 적지 않았다. GKE 사용자는 GPU 노드에서 드라이버를 설치할 때 "Failed to download GPU driver installer, status: 403 Forbidden" 오류를 보고 이 장애를 알아볼 수 있었다.
–
상태 페이지 보고서는 교훈이나 후속 조치를 적지 않았다.
IL-0039 CentOS 저장소 재구성으로 kops nodeup 에 하드코딩된 container-selinux 패키지 주소가 깨져 새 워커 노드가 클러스터에 합류하지 못했다FREE NOW · 2019같은 원인 · 공통 노드 운영체제 이미지, 노드 풀
IL-0103 EKS 노드 AMI 업데이트로 파드가 한꺼번에 다시 뜨자 인증서 요청이 몰린 외부 CA 가 과부하에 걸려 Istio 사이드카가 CrashLoopBackOff 에 빠졌다.Tetrate (unnamed U.S. federal customer) · 2025 · sev1같은 원인 · 공통 노드 운영체제 이미지
IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024같은 원인 · 공통 GPU 드라이버
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.