Incident Library

조직

Datadog

Datadog · datadog

2건 · 2019년부터 2023년

원인 용량 한계1건업그레이드로 깨진 호환성1건
구성 요소 어드미션 웹훅1건Cilium1건애플리케이션 데이터베이스1건NAT 게이트웨이1건노드 운영체제 이미지1건컨테이너 레지스트리와 자격 증명1건systemd-networkd1건
기여 요인 자동화 증폭2건과도한 영향 범위1건기본 설정 방치1건늦게 드러난 변경1건한계 미인지1건수동 조치 악화1건단계적 배포 부재1건단일 장애점1건
증상 서비스 중단2건이미지 풀 실패1건노드 NotReady1건처리량 저하1건

사례

  1. IL-0198 systemd 보안 패치가 Ubuntu 22.04 노드의 systemd-networkd 를 재시작해 Cilium 이 넣은 IP 규칙을 지웠고, 여러 리전과 세 클라우드의 Kubernetes 노드가 한꺼번에 네트워크를 잃었다.Datadog · 2023

    원인 업그레이드로 깨진 호환성

  2. IL-0037 imagePullPolicy가 Always인 DaemonSet이 크래시 루프를 돌며 이미지를 계속 받아, NAT 세 대를 같이 쓰던 리전 전체가 이미지 레지스트리에서 429로 막혔다Datadog · 2019

    원인 용량 한계