Incident Library

조직

Palark

Palark · palark

4건 · 2020년부터 2023년

원인 용량 한계2건운영 실수1건소프트웨어 결함1건
구성 요소 쿠버네티스 API 서버2건영구 볼륨과 스테이트풀셋2건Cilium1건애플리케이션 데이터베이스1건Elasticsearch 와 OpenSearch1건etcd1건Helm1건컨테이너 메모리 한도1건텔레메트리 에이전트1건
기여 요인 미검증 가정2건기본 설정 방치2건한계 미인지1건단계적 배포 부재1건단일 장애점1건
증상 컨트롤 플레인 무응답2건데이터 유실1건데이터베이스 과부하1건OOMKilled1건서비스 중단1건스플릿 브레인1건

사례

  1. IL-0195 200개가 넘는 노드의 고객 클러스터에서 Cilium 파드가 LIST 요청을 한꺼번에 쏟아내 kube-apiserver 가 메모리를 다 쓰고 죽기를 되풀이했다.Palark · 2023

    원인 용량 한계

  2. IL-0194 kube-apiserver 재시작 뒤 Vector DaemonSet 의 파드 list 요청이 한꺼번에 몰려 etcd 메모리가 세 배 가까이 늘고 마스터 노드가 연쇄적으로 재시작했다.Palark · 2023

    원인 용량 한계

  3. IL-0197 Elasticsearch StatefulSet 을 새 퍼시스턴트 볼륨으로 옮기던 중 빈 볼륨으로 다시 뜬 elasticsearch-0 이 혼자 새 클러스터를 만들어 스플릿 브레인이 났다.Palark · 2021

    원인 운영 실수

  4. IL-0196 Redis Operator 로 레플리카를 늘리면서 메모리 한도를 낮추자 데이터를 가진 유일한 Redis 파드가 재시작됐고, Sentinel 이 빈 레플리카를 마스터로 올려 데이터가 모두 지워졌다.Palark · 2020

    원인 소프트웨어 결함