Incident Library

조직

GoCardless

GoCardless · gocardless

3건 · 2015년부터 2020년

원인 인증서·자격 증명 만료1건배포 결함1건하드웨어 고장1건
구성 요소 데이터베이스2건cert-manager1건데이터베이스 장애 조치 관리자1건스키마 마이그레이션1건시크릿 저장소1건
기여 요인 미검증 가정3건수동 조치 악화1건모니터링 사각지대1건장애 중첩1건단일 장애점1건
증상 서비스 중단3건컨테이너 재시작 반복1건자격 증명 획득 실패1건장애 조치 실패1건잠금 경합과 교착1건TLS 인증서 오류1건

사례

  1. IL-0460 Vault 가 만료된 TLS 인증서를 계속 써서 Vault 에 기대는 서비스 파드가 연쇄로 죽고 GoCardless 서비스 전체가 22분간 멈췄다GoCardless · 2020

    원인 인증서·자격 증명 만료

  2. IL-0219 Postgres 프라이머리의 디스크 어레이가 망가진 뒤 Pacemaker 가 새 프라이머리를 승격하지 못해 GoCardless API 와 대시보드가 1시간 50분 멈췄다GoCardless · 2017

    원인 하드웨어 고장

  3. IL-0391 외래 키 제약을 다시 만드는 Postgres 마이그레이션이 잠금 대기열에 걸려 GoCardless API 가 15초쯤 멈췄다GoCardless · 2015

    원인 배포 결함