Incident Library

조직

Airbnb

Airbnb · airbnb

3건 · 2019년부터 2020년

원인 용량 한계1건배포 결함1건소프트웨어 결함1건
구성 요소 어드미션 웹훅1건클라이언트 쪽 DNS 리졸버와 캐시1건수평 파드 오토스케일러1건kube-dns1건kube-proxy1건서비스 디스커버리1건텔레메트리 에이전트1건
기여 요인 미검증 가정1건과도한 영향 범위1건기본 설정 방치1건늦게 드러난 변경1건초기 신호 무시1건모니터링 사각지대1건
증상 배포 실패1건DNS 조회 실패1건오류율 상승1건지연 시간 증가1건간헐적 타임아웃1건프로브 실패1건서비스 중단1건처리량 저하1건부하 불균형1건

사례

  1. IL-0032 mutating admission controller 의 JSON 패치 버그로 일주일 동안 새 코드가 배포되지 않았고, 운영 서비스 하나는 파드가 두 개만 남아 오류율이 치솟았다Airbnb · 2020

    원인 소프트웨어 결함

  2. IL-0034 메트릭 에이전트 사이드카가 업그레이드 중 크래시하자 클러스터의 모든 파드가 준비되지 않은 상태가 되어 서비스가 트래픽을 받지 못했다Airbnb · 2019

    원인 배포 결함

  3. IL-0033 kube-dns 파드 사이의 트래픽 불균형과 DNS 초당 패킷 한도 때문에 외부 DNS 조회가 많은 여러 서비스의 지연 시간이 20초까지 늘었다Airbnb · 2019

    원인 용량 한계