Incident Library

조직

loveholidays

loveholidays · loveholidays

3건 · 2019년부터 2020년

원인 용량 한계2건클라우드 제공자 장애1건
구성 요소 노드 풀3건클러스터 오토스케일러2건conntrack 테이블1건GKE 컨트롤 플레인1건HAProxy1건수평 파드 오토스케일러1건인그레스 컨트롤러1건kube-proxy1건VPC 서브넷 또는 파드 주소 범위1건
기여 요인 한계 미인지2건기본 설정 방치1건초기 신호 무시1건한계 경보 부재1건용량 계획 부재1건장애 중첩1건스테이징 불일치1건
증상 노드 증설 실패2건파드 Pending2건오토스케일러 오동작1건연결 리셋1건오류율 상승1건간헐적 연결 실패1건IP 주소 고갈1건서비스 중단1건업그레이드 정체1건

사례

  1. IL-0013 노드 RAM 을 절반으로 줄이자 conntrack 테이블이 가득 차 집계 서비스에 연결 리셋과 오류가 늘었다loveholidays · 2020

    원인 용량 한계

  2. IL-0015 GKE 가 노드마다 IP 256개를 미리 잡아 /16 파드 주소 범위가 바닥나고 노드 증설과 배포가 멈췄다loveholidays · 2020

    원인 용량 한계

  3. IL-0014 GKE 를 1.12.5-gke.10 으로 올리는 중 노드 풀 업그레이드가 멈추고 인그레스와 HPA 가 망가졌다loveholidays · 2019

    원인 클라우드 제공자 장애