Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

구성 요소

GKE 컨트롤 플레인

GKE control plane · gke-control-plane

7건 · 2019년부터 2025년

원인 설정 변경2건 업그레이드로 깨진 호환성2건 용량 한계1건 인증서·자격 증명 만료1건 클라우드 제공자 장애1건

기여 요인 단일 장애점2건 미뤄 둔 업그레이드2건 미검증 가정1건 자동화 증폭1건

증상 서비스 중단5건 노드 증설 실패2건 컨트롤 플레인 지연2건 컨트롤 플레인 무응답2건

조직 Google Cloud1건 Jetstack1건 loveholidays1건 Spotify1건 Sunwoo Park

사례, 심각도 순

IL-0101 자동 업그레이드를 꺼 둔 GKE 클러스터의 컨트롤 플레인이 지원 종료 기한에 1.33.2 로 강제 업그레이드된 뒤 새 노드가 모두 초기화에 실패해, 오토스케일링과 스팟 노드 복구가 15시간 멈췄다.Wealthy · 2025 · sev1
원인 업그레이드로 깨진 호환성
IL-0180 GKE 컨트롤 플레인이 1.22 에서 1.23 으로 자동 업그레이드되면서 v1beta1 API 를 쓰던 Istio 1.7.4 가 제대로 동작하지 않았다Sunwoo Park · 2023
원인 업그레이드로 깨진 호환성
IL-0140 us-central1 의 GKE API 가 지연과 오류를 내면서 고객이 클러스터 상태 확인, 업그레이드, 생성과 삭제를 하지 못했다.

그래프에서 보기

과도한 영향 범위1건

초기 신호 무시1건

디버그 접근 제한1건

모니터링 사각지대1건

헬스 프로브 부재1건

파괴적 변경 보호 장치 부재1건

여유 용량 부재1건

장애 중첩1건

재시도 폭주1건

롤백 무효1건

리뷰 누락1건

스테이징 불일치1건

업그레이드 정체2건

오토스케일러 오동작1건

컨테이너 재시작 반복1건

자격 증명 획득 실패1건

DNS 조회 실패1건

오류율 상승1건

지연 시간 증가1건

노드 재생성 반복1건

파드 Pending1건

리소스 삭제1건

API 조회 결과 불일치1건

1건

Webhook Relay1건

Google Cloud · 2022

원인 용량 한계

IL-0113 한 번도 교체되지 않은 GKE API 서버 인증서 때문에 메인 클러스터의 컨트롤 플레인이 망가져 EU 리전의 백엔드 API, 프런트엔드, 터널이 모두 멈췄다Webhook Relay · 2022

원인 인증서·자격 증명 만료

IL-0008 응답하지 않는 OPA 검증 웹훅 때문에 GKE 마스터 업그레이드가 멈추고 API 서버가 간헐적으로 끊기면서 노드가 끝없이 재생성됐다Jetstack · 2019

원인 설정 변경

IL-0061 Terraform 상태 파일이 리뷰 빌드에서 바뀐 데다 권한 차이까지 겹쳐 Terraform 이 운영 GKE 클러스터 세 개 중 두 개를 삭제했다Spotify · 2019

원인 설정 변경

IL-0014 GKE 를 1.12.5-gke.10 으로 올리는 중 노드 풀 업그레이드가 멈추고 인그레스와 HPA 가 망가졌다loveholidays · 2019

원인 클라우드 제공자 장애