Incident Library

조직

Kubernetes project

Kubernetes project · kubernetes-project

3건 · 2019년

원인 배포 결함2건용량 한계1건
구성 요소 CI 시스템3건클라우드 블록 스토리지1건kubelet1건노드 루트 디스크1건노드 풀1건
기여 요인 미검증 가정1건업무 종료 직전에 시작한 변경1건늦게 드러난 변경1건초기 신호 무시1건디버그 접근 제한1건모니터링 사각지대1건한계 경보 부재1건리소스 요청과 한도 미설정1건단일 장애점1건스테이징 불일치1건
증상 컨테이너 재시작 반복1건지연 시간 증가1건노드 CPU 고부하1건노드 커널 패닉1건노드 NotReady1건파드 Pending1건파드 Terminating 정체1건서비스 중단1건처리량 저하1건

사례

  1. IL-0401 Kubernetes 프로젝트의 Prow 빌드 클러스터 노드가 GCP 디스크 IOPS 스로틀링에 걸려 테스트가 이상하게 실패하고 PR 머지가 몇 시간 멈췄다Kubernetes project · 2019

    원인 용량 한계

  2. IL-0467 Prow 빌드 클러스터의 노드 업그레이드 중 Boskos 파드가 크래시 루프에 빠져 GCP 프로젝트가 필요한 테스트 작업이 9시간 넘게 모두 실패했다Kubernetes project · 2019

    원인 배포 결함

  3. IL-0466 Prow 가 테스트 작업을 서비스 클러스터에 스케줄해 작업이 뜨지 못하고 Prow 전체가 느려졌다Kubernetes project · 2019

    원인 배포 결함