Incident Library

조직

DFDS

DFDS · dfds

8건 · 2020년부터 2024년

원인 설정 변경4건소프트웨어 결함2건용량 한계1건인증서·자격 증명 만료1건
구성 요소 클라우드 로드 밸런서3건Terraform3건어드미션 웹훅2건인그레스 컨트롤러2건노드 런치 템플릿2건텔레메트리 에이전트2건AWS VPC CNI2건컨테이너 런타임1건애플리케이션 데이터베이스1건쿠버네티스 API 서버1건kubelet1건리눅스 커널1건컨테이너 메모리 한도1건노드 운영체제 이미지1건노드 풀1건정책 엔진1건
기여 요인 모니터링 사각지대5건설정 테스트 부재4건미검증 가정2건자동화 증폭2건과도한 영향 범위2건기본 설정 방치2건수동 조치 악화2건늦게 드러난 변경1건초기 신호 무시1건헬스 프로브 부재1건리소스 요청과 한도 미설정1건런북 부재1건단계적 배포 부재1건장애 중첩1건리뷰 누락1건미뤄 둔 업그레이드1건스테이징 불일치1건
증상 서비스 중단4건컨테이너 재시작 반복2건배포 실패2건오류율 상승2건모니터링 중단2건노드 NotReady2건컨트롤 플레인 지연1건간헐적 연결 실패1건간헐적 타임아웃1건OOMKilled1건프로브 실패1건리소스 삭제1건업그레이드 정체1건

사례

  1. IL-0110 Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다.DFDS · 2024

    원인 용량 한계

  2. IL-0109 로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다.DFDS · 2023 · sev1

    원인 설정 변경

  3. IL-0112 나중에 회수된 EKS 노드 AMI 로 노드를 교체한 뒤 노드가 PLEG is not healthy 를 보고하며 NotReady 를 오갔고 파드 네트워크 타임아웃이 났다DFDS · 2022

    원인 소프트웨어 결함

  4. IL-0107 오래된 Kyverno 가 서드파티 인증서 체인 만료로 크래시 루프에 빠졌고, failurePolicy 가 fail 인 웹훅이 응답하지 않아 Service 리소스의 생성, 수정, 삭제가 88분 동안 막혔다.DFDS · 2022

    원인 인증서·자격 증명 만료

  5. IL-0106 잘못된 IngressRoute 매니페스트가 Traefik v2 버그를 건드려 Traefik 파드가 모두 재시작된 뒤 Kubernetes 의 모든 서비스가 404 를 냈다DFDS · 2021

    원인 소프트웨어 결함

  6. IL-0111 메인 인그레스 컨트롤러를 Traefik v2 로 바꾸자 X-Forwarded 헤더가 전달되지 않아 Okta 로그인이 깨졌고, DFDS 온라인 예약이 한 시간 넘게 멈췄다DFDS · 2021

    원인 설정 변경

  7. IL-0105 VPC CNI 교체로 ALB 에서 타깃 그룹이 떨어져 나가 쿠버네티스 클러스터의 모든 서비스가 503 을 냈다DFDS · 2021

    원인 설정 변경

  8. IL-0108 워크숍 중 운영 클러스터에 적용한 Alcide admission 컨트롤러 때문에 Deployment 생성과 수정이 타임아웃되었다DFDS · 2020

    원인 설정 변경