Incident Library

조직

Skyscanner

Skyscanner · skyscanner

2건 · 2019년부터 2021년

원인 설정 변경1건소프트웨어 결함1건
구성 요소 설정 템플릿2건Argo CD1건HAProxy1건인그레스 컨트롤러1건
기여 요인 미검증 가정1건자동화 증폭1건미검증 백업1건과도한 영향 범위1건초기 신호 무시1건설정 테스트 부재1건단계적 배포 부재1건리뷰 누락1건스테이징 불일치1건
증상 지연 시간 증가1건간헐적 연결 실패1건OOMKilled1건리소스 삭제1건서비스 중단1건부하 불균형1건

사례

  1. IL-0010 템플릿 중괄호가 빠진 설정 변경으로 ArgoCD 가 전 세계 모든 클러스터의 서비스를 지웠다Skyscanner · 2021

    원인 설정 변경

  2. IL-0011 HAProxy 인그레스 템플릿이 백엔드 파드를 IP 순으로 정렬해 일부 파드에 요청이 몰리고 인그레스 컨테이너가 OOMKilled 됐다Skyscanner · 2019

    원인 소프트웨어 결함