IL-0030 Zalando · 2019-02-11 (게시일)kubernetesaws
이 사례는 Zalando 의 Henning Jacobs 가 2019-02-11 함부르크 밋업에서 발표한 쿠버네티스 장애 사례 가운데 첫 번째다. 쿠버네티스 v1.7.4+coreos.0 을 쓰는 클러스터에서 노드들이 동시에 NotReady 가 되어 쓸 수 있는 노드가 20% 미만으로 줄었다. 노드들은 15분 뒤 동시에 저절로 회복했다.
팀은 API 서버가 AWS ELB 뒤에 있다는 점과 다른 사용자들도 같은 일을 겪고 있다는 점을 단서로 업스트림 이슈 kubernetes/kubernetes#48638 을 찾았다. 이 버그는 쿠버네티스 1.8 에서 고쳐졌고 1.7.8 로 백포트됐다.
클러스터에서 쓸 수 있는 노드가 전체의 20% 미만으로 줄었다. 노드들이 같은 시각에 한꺼번에 비정상이 됐다.
발표 슬라이드에는 kubectl get nodes 출력 일부가 실려 있다. 이 출력에서 노드 11대 가운데 5대가 NotReady, 4대가 Ready, 2대가 Ready,SchedulingDisabled 였다. 노드 버전은 모두 v1.7.4+coreos.0 이었다.
노드들은 같은 시각에 비정상이 되고 같은 시각에 회복했다. 클러스터는 15분 뒤 저절로 복구됐다.
팀은 단서를 모으면서 API 서버가 AWS ELB 뒤에 있다는 점에 주목했다. 다른 사용자들도 같은 일을 겪고 있었고, 그중 일부는 거의 매달 이 일이 일어난다고 보고했다.
증상 노드 NotReady
원인 소프트웨어 결함
–
–
–
IL-0150 DynamoDB DNS 자동화의 경쟁 조건이 us-east-1 리전 엔드포인트의 DNS 레코드를 비워 DynamoDB 와 EC2 인스턴스 시작이 실패했고, 그 여파로 EKS, ECS, Fargate 의 컨테이너 시작과 클러스터 스케일링이 14시간 넘게 막혔다Amazon Web Services · 2025같은 원인 · 공통 클라우드 로드 밸런서
IL-0138 nvidia-dkms-390 드라이버 빌드 실패로 망가진 커널 헤더가 몇 주 동안 방치됐다가, 정전 뒤 재부팅하자 하나뿐인 마스터 노드가 커널 패닉에 빠져 홈랩 쿠버네티스 클러스터가 6일 동안 멈췄다.Barush Mendez · 2025같은 원인 · 공통 쿠버네티스 API 서버
IL-0131 새로운 형태의 GenerateContent 요청이 Vertex AI 예측 API 서버에 세그폴트를 일으켰고, 동시에 재시작하는 서버가 늘자 서빙 용량이 모자라 여러 리전에서 오류가 치솟았다.Google Cloud · 2024같은 원인 · 공통 클라우드 로드 밸런서
IL-0077 Kyverno 1.12 가 만든 ephemeralreports 객체가 쌓여 EKS 의 etcd 데이터베이스가 한도를 넘었고 운영 클러스터가 읽기 전용이 되어 모든 쓰기가 거부됐다Marcin Cuber · 2024 · sev1같은 원인 · 공통 쿠버네티스 API 서버
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.
같은 원인 · 공통 클라우드 로드 밸런서
IL-0072 etcd 쓰기 지연으로 API 서버가 오래된 데이터를 읽어 클러스터 상태가 두 가지로 번갈아 보였고, 주 운영 클러스터 전체가 약 4시간 멈췄다Nordstrom · 2017같은 원인 · 공통 쿠버네티스 API 서버