Incident Library

조직

Target

Target · target

2건 · 2018년부터 2019년

원인 설정 변경1건의존성 장애1건
구성 요소 컨테이너 런타임1건파드용 자격 증명 중개자1건잡과 크론잡1건노드 풀1건서비스 디스커버리1건텔레메트리 에이전트1건
기여 요인 자동화 증폭2건과도한 영향 범위1건기본 설정 방치1건미패치 알려진 버그1건단일 장애점1건
증상 자격 증명 획득 실패1건지연 시간 증가1건노드 NotReady1건서비스 중단1건부하 불균형1건

사례

  1. IL-0073 Kafka 연결이 끊기자 로깅 사이드카가 Docker 데몬에 부하를 주어 노드가 줄줄이 비정상이 되었고, 재스케줄링으로 생긴 노드 약 41,000개가 Consul gossip 메시를 오염시켜 Vault 와 배포 엔진까지 멈췄다Target · 2019 · sev1

    원인 의존성 장애

  2. IL-0055 실패하는 CronJob 이 기본 concurrencyPolicy 때문에 겹겹이 쌓여 재시작하는 파드가 수천 개로 늘었고 클러스터가 내려갔다Target · 2018

    원인 설정 변경