Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

컨트롤 플레인 지연

Control plane lag · control-plane-slow

9건 · 2019년부터 2024년

원인 용량 한계4건 인증서·자격 증명 만료1건 클라우드 제공자 장애1건 설정 변경1건 소프트웨어 결함1건 업그레이드로 깨진 호환성1건

구성 요소 쿠버네티스 API 서버8건 etcd3건 어드미션 웹훅2건 GKE 컨트롤 플레인2건

기여 요인 모니터링 사각지대3건 단일 장애점3건 미검증 가정2건 디버그 접근 제한2건

조직 Civis Analytics1건 DFDS1건 Google Cloud1건 Marcin Cuber1건 Namespace

사례

IL-0084 베어메탈 업체 vSwitch 의 패킷 드롭으로 Namespace 의 fra3 리전이 빠져 전 세계 용량이 모자랐고, 다음 날에는 컨트롤 플레인 노드의 느린 NVMe 쓰기로 쿠버네티스 API 서버 CPU 가 치솟아 zrh1 이 멈췄다.Namespace · 2024
원인 클라우드 제공자 장애
IL-0077 Kyverno 1.12 가 만든 ephemeralreports 객체가 쌓여 EKS 의 etcd 데이터베이스가 한도를 넘었고 운영 클러스터가 읽기 전용이 되어 모든 쓰기가 거부됐다Marcin Cuber · 2024 · sev1
원인 소프트웨어 결함
IL-0168 새 쿠버네티스 릴리스 뒤 많은 Kapsule 클러스터가 동시에 자동 업그레이드되면서 Kubernetes API 가 과부하로 OOM 이 났고, 새 노드 인증 방식의 재시도가 혼잡을 키워 노드가 Not Ready 가 됐다.

그래프에서 보기

CI 시스템1건

파드용 자격 증명 중개자1건

정책 엔진1건

RBAC 와 서비스 어카운트1건

텔레메트리 에이전트1건

용량 계획 부재2건

재시도 폭주2건

자동화 증폭1건

미검증 백업1건

코드로 관리되지 않는 설정1건

기본 설정 방치1건

한계 미인지1건

한계 경보 부재1건

설정 테스트 부재1건

여유 용량 부재1건

단계적 배포 부재1건

장애 중첩1건

스테이징 불일치1건

1건

Webhook Relay1건

Scaleway · 2024

원인 용량 한계

IL-0060 쿠버네티스 1.24 업그레이드로 node-role.kubernetes.io/master 레이블이 사라지자 이 레이블에 기대던 Calico 라우트 리플렉터가 동작을 멈춰 레거시 클러스터의 네트워크가 모두 끊기고 Reddit 이 314분 동안 멈췄다Reddit · 2023

원인 업그레이드로 깨진 호환성

IL-0140 us-central1 의 GKE API 가 지연과 오류를 내면서 고객이 클러스터 상태 확인, 업그레이드, 생성과 삭제를 하지 못했다.Google Cloud · 2022

원인 용량 한계

IL-0113 한 번도 교체되지 않은 GKE API 서버 인증서 때문에 메인 클러스터의 컨트롤 플레인이 망가져 EU 리전의 백엔드 API, 프런트엔드, 터널이 모두 멈췄다Webhook Relay · 2022

원인 인증서·자격 증명 만료

IL-0108 워크숍 중 운영 클러스터에 적용한 Alcide admission 컨트롤러 때문에 Deployment 생성과 수정이 타임아웃되었다DFDS · 2020

원인 설정 변경

IL-0002 빌더 파드가 노드 한 대에 몰리자 kubelet 이 기본 API QPS 한도에 막혀 파드 상태를 늦게 갱신했고, CI 빌드가 AWS IAM 자격 증명을 받지 못해 실패했다Zalando · 2019

원인 용량 한계

IL-0075 클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다.Civis Analytics · 2019

원인 용량 한계