IL-0002 Zalando · 2019-06-11kubernetesaws

빌더 파드가 노드 한 대에 몰리자 kubelet 이 기본 API QPS 한도에 막혀 파드 상태를 늦게 갱신했고, CI 빌드가 AWS IAM 자격 증명을 받지 못해 실패했다

Zalando 는 CDP 라는 사내 CI/CD 플랫폼을 직접 만들어 운영한다. 2019년 6월 11일 CDP 빌드가 한 시간 가까이 타임아웃으로 실패했다. 쿠버네티스 빌더 파드가 AWS IAM 자격 증명을 받지 못했기 때문이다. 파드가 자격 증명을 받으려면 kube2iam 이 파드 IP 를 알아야 하고, 파드 IP 는 배정된 노드의 kubelet 이 설정한다.

kubelet 기본 설정은 API 서버로 보내는 요청에 아주 낮은 속도 제한을 건다. 클러스터 규모가 조정되면서 공교롭게도 빌더 파드가 쓸 수 있는 노드가 한 대만 남았다. 그 노드에서 파드가 빠르게 만들어지고 지워지자 kubelet 이 밀렸다. kubelet 의 파드 상태 갱신이 몇 분씩 늦어졌다. 팀은 우선 피해를 멈추려고 클러스터를 수동으로 늘려 빌더 파드가 여러 노드에 흩어지게 했다. 영구 조치로 전역 클러스터 설정에서 kubelet QPS 를 기본값 5 에서 50 으로 올렸다.

심각도: –
영향 범위: builds on the in-house Continuous Delivery Platform (CDP)
영향 사용자: –
지역: –
감지까지: –
복구까지: –

증상

2019년 6월 11일, Zalando 가 직접 만들어 운영하는 CI/CD 플랫폼인 CDP 의 빌드가 한 시간 가까이 타임아웃으로 실패했다.

빌드가 실패한 이유는 쿠버네티스 빌더 파드가 AWS IAM 자격 증명을 받지 못해서였다. 파드가 자격 증명을 받으려면 kube2iam 이 그 파드의 IP 주소를 알아야 한다. 파드 IP 는 배정된 노드의 kubelet 이 설정하는데, kubelet 의 파드 상태 갱신이 몇 분씩 늦어졌다.

증상 오류율 상승 자격 증명 획득 실패 컨트롤 플레인 지연

원인

원인 용량 한계

구성 요소 kubelet 파드용 자격 증명 중개자 쿠버네티스 API 서버 CI 시스템

감지

–

조치

클러스터를 수동으로 늘려 빌더 파드가 노드 한 대가 아니라 여러 대에 흩어지게 했다.

후속 조치

전역 클러스터 설정으로 kubelet QPS 를 기본값 5 에서 50 으로 올렸다.

교훈

–

출처

https://github.com/zalando-incubator/kubernetes-on-aws/blob/dev/docs/postmortems/jun-2019-kubelet-qps.md · github · 보관본

참고 문서

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: kubelet, 파드용 자격 증명 중개자, 쿠버네티스 API 서버. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0002
가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0002/similar
MCP 서버(Streamable HTTP, 키 없음): https://incidentlib-mcp.benchlet.com/mcp

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.

증상

원인

감지

조치

후속 조치

교훈

출처

참고 문서

관련 사례

내 클러스터에도 있는지 확인하기

AI 도구와 스크립트용