Incident Library

조직

Zalando

Zalando · zalando

4건 · 2018년부터 2019년

원인 용량 한계3건소프트웨어 결함1건
구성 요소 쿠버네티스 API 서버3건CI 시스템1건클라우드 로드 밸런서1건CoreDNS1건파드용 자격 증명 중개자1건클라이언트 쪽 DNS 리졸버와 캐시1건인그레스 컨트롤러1건kubelet1건컨테이너 메모리 한도1건
기여 요인 과도한 영향 범위2건기본 설정 방치2건단일 장애점2건미패치 알려진 버그1건한계 미인지1건모니터링 사각지대1건캐시 부재1건재시도 폭주1건
증상 오류율 상승3건OOMKilled2건컨트롤 플레인 지연1건컨트롤 플레인 무응답1건자격 증명 획득 실패1건DNS 조회 실패1건모니터링 중단1건노드 NotReady1건

사례

  1. IL-0002 빌더 파드가 노드 한 대에 몰리자 kubelet 이 기본 API QPS 한도에 막혀 파드 상태를 늦게 갱신했고, CI 빌드가 AWS IAM 자격 증명을 받지 못해 실패했다Zalando · 2019

    원인 용량 한계

  2. IL-0030 쿠버네티스 v1.7.4 클러스터에서 노드들이 한꺼번에 NotReady 가 되어 쓸 수 있는 노드가 20% 미만으로 줄었다.Zalando · 2019

    원인 소프트웨어 결함

  3. IL-0001 CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다Zalando · 2019

    원인 용량 한계

  4. IL-0031 API 서버가 OOMKill로 죽자 Skipper 인그레스가 라우트를 잃었고, 고객 트래픽이 끊기며 IAM 서비스에서 404 오류가 났다Zalando · 2018

    원인 용량 한계