조직

Google Cloud

Google Cloud · google-cloud

9건 · 2019년부터 2024년

원인 소프트웨어 결함5건 용량 한계1건 설정 변경1건 의존성 장애1건 배포 결함1건

구성 요소 노드 운영체제 이미지2건 Calico1건 클라우드 로드 밸런서1건 파드용 자격 증명 중개자1건 GKE 컨트롤 플레인1건 GPU 드라이버1건 모델 추론 서버1건 kubelet1건 리눅스 커널1건 모델 요청 라우팅1건 노드 풀1건 파드 종료 처리1건 텔레메트리 에이전트1건

기여 요인 자동화 증폭2건 과도한 영향 범위1건 여유 용량 부재1건 부분 배포1건 재시도 폭주1건

증상 오류율 상승3건 지연 시간 증가3건 로그 폭증2건 컨트롤 플레인 지연1건 배포 실패1건 GPU 인식 불가1건 간헐적 타임아웃1건 노드 커널 패닉1건 노드 NotReady1건 파드 Pending1건 파드 Terminating 정체1건 리소스 삭제1건 서비스 중단1건

사례

IL-0130 내부 스토리지 프로비저닝 설정 오류로 Vertex Model Garden 의 100GB 넘는 대형 모델 배포가 13일 넘게 "Model server never became ready" 오류를 내며 실패했다.Google Cloud · 2024
원인 설정 변경
IL-0131 새로운 형태의 GenerateContent 요청이 Vertex AI 예측 API 서버에 세그폴트를 일으켰고, 동시에 재시작하는 서버가 늘자 서빙 용량이 모자라 여러 리전에서 오류가 치솟았다.Google Cloud · 2024
원인 소프트웨어 결함
IL-0021 GKE 의 COS 노드가 NVIDIA GPU 드라이버를 403 Forbidden 으로 받지 못해 새로 만든 GPU 노드를 쓸 수 없었다Google Cloud · 2024
원인 의존성 장애
IL-0141 Workload Identity 를 쓰는 GKE 클러스터에서 gke-metadata-server 가 "Unable to sync sandbox" 디버그 로그를 대량으로 내 Cloud Logging 할당량을 소모하고 추가 요금이 나왔다Google Cloud · 2023
원인 소프트웨어 결함
IL-0142 GKE 1.24 이상 클러스터에서 로그를 처리하는 구성 요소의 새 버전이 불필요한 오류 로그를 쏟아내 일부 고객의 Logging API 쓰기 할당량이 바닥났다Google Cloud · 2023
원인 배포 결함
IL-0139 Calico 네트워크 정책을 쓰는 GKE 클러스터를 1.22 이상으로 업그레이드하자 경쟁 조건 때문에 CNI 정리가 Unauthorized 로 실패해 파드가 Terminating 이나 Pending 에 멈췄다.Google Cloud · 2022
원인 소프트웨어 결함
IL-0140 us-central1 의 GKE API 가 지연과 오류를 내면서 고객이 클러스터 상태 확인, 업그레이드, 생성과 삭제를 하지 못했다.Google Cloud · 2022
원인 용량 한계
IL-0132 잘못된 리소스 정리 작업이 Vertex AI 예측 엔드포인트를 전역에서 삭제된 것으로 표시해 고객 모델이 내려가고 예측 요청이 4시간 넘게 실패했다.Google Cloud · 2022
원인 소프트웨어 결함
IL-0143 GKE 1.13 과 1.14 의 특정 버전으로 업그레이드한 노드에서 커널 패닉이 늘었다.Google Cloud · 2019
원인 소프트웨어 결함