Incident Library

증상

장애 조치 실패

Failover failure · failover-failed

16건 · 2011년부터 2025년

원인 소프트웨어 결함4건용량 한계3건클라우드 제공자 장애2건하드웨어 고장2건설정 변경1건배포 결함1건DNS·네트워크 장애1건운영 실수1건unknown1건
구성 요소 데이터베이스13건데이터베이스 장애 조치 관리자10건인메모리 캐시4건클라우드 블록 스토리지2건데이터베이스 복제2건메시지 브로커2건CDN 과 엣지 네트워크1건코디네이션 키-값 저장소1건데이터베이스 백업과 스냅숏1건데이터베이스 프록시와 커넥션 풀러1건DNS 서버와 레코드1건NIC·케이블·스위치 포트 링크1건
기여 요인 과도한 영향 범위5건모니터링 사각지대5건장애 중첩5건미검증 가정3건자동화 증폭3건수동 조치 악화3건단일 장애점3건잡음에 묻힌 신호1건피크 시간 변경1건늦게 드러난 변경1건비효율적인 쿼리1건미패치 알려진 버그1건여유 용량 부재1건단계적 배포 부재1건재시도 폭주1건스테이징 불일치1건안전하지 않은 실패 동작1건데워진 캐시에 기댄 구조1건
조직 GitHub3건Amazon Web Services1건AppOptics1건Discord1건GitLab1건GoCardless1건Hightouch1건Microsoft Azure1건Postmark1건Redis1건Stack Exchange1건Stripe1건updown.io1건Wasabi1건

사례

  1. IL-0310 Aurora PostgreSQL 의 수동 장애 조치가 스스로 되돌아가 원래 writer 가 남고 백엔드의 쓰기 쿼리가 실패했다Hightouch · 2025

    원인 소프트웨어 결함

  2. IL-0544 Wasabi 전 리전의 S3 와 사용자 서비스에 이틀에 걸쳐 세 차례 장애가 났다Wasabi · 2024

    원인 용량 한계

  3. IL-0367 Central US 의 Azure Storage 가 VM 디스크 요청을 거부해 VM 과 그 위의 SQL Database, Cosmos DB 가 멈췄다Microsoft Azure · 2024

    원인 설정 변경

  4. IL-0291 GitLab.com 의 redis-sidekiq Sentinel 이 쿼럼을 만들지 못해 Sidekiq 이 30분 동안 멈추고 500 오류가 늘었다GitLab · 2023

    원인 클라우드 제공자 장애

  5. IL-0302 GitHub 의 공용 MySQL 클러스터 mysql1 이 최대 부하 시간대에 연결이 바닥나 쓰기 작업이 네 번 멈췄다GitHub · 2022

    원인 용량 한계

  6. IL-0241 데이터베이스 shard 하나가 primary 를 뽑지 못해 Stripe API 요청 대부분이 두 차례 실패했다Stripe · 2019

    원인 소프트웨어 결함

  7. IL-0289 updown.io 의 주 MongoDB 서버가 쿼리에 평소보다 약 200배 느리게 응답해 사이트와 모니터링 데몬이 거의 멈췄는데 자동 페일오버가 일어나지 않았다updown.io · 2019

    원인 하드웨어 고장

  8. IL-0210 43초 네트워크 단절 뒤 MySQL 프라이머리가 미국 서부로 넘어가 GitHub.com 이 24시간 11분 동안 느려지고 오래된 데이터를 보여 줬다GitHub · 2018

    원인 DNS·네트워크 장애

  9. IL-0588 AppOptics 와 Librato 의 메트릭 API 가 대부분의 데이터에 5xx 를 내고 Kafka 파티션이 리더 없이 오프라인으로 남았다AppOptics · 2018

    원인 클라우드 제공자 장애

  10. IL-0388 Redis 고가용 클러스터의 primary 노드가 내려간 뒤 Discord API 가 느려지고 길드 일부가 오프라인으로 보이며 접속이 실패했다Discord · 2017

    원인 소프트웨어 결함

  11. IL-0219 Postgres 프라이머리의 디스크 어레이가 망가진 뒤 Pacemaker 가 새 프라이머리를 승격하지 못해 GoCardless API 와 대시보드가 1시간 50분 멈췄다GoCardless · 2017

    원인 하드웨어 고장

  12. IL-0335 주 SQL Server 의 bugcheck 로 Stack Exchange 네트워크가 읽기 전용이 됐다가 12분 동안 내려갔다Stack Exchange · 2017

    원인 unknown

  13. IL-0278 주간 소프트웨어 업데이트 뒤 GCP 의 Redis Cloud 클러스터 노드 대부분이 동시에 응답하지 않아 그 클러스터의 데이터베이스가 내려갔다Redis · 2016

    원인 배포 결함

  14. IL-0303 GitHub 의 새 3노드 MySQL 클러스터에서 자동 페일오버가 잘못 일어나고 클러스터 상태가 갈라져 GitHub.com 이 두 번 멈췄다GitHub · 2012

    원인 소프트웨어 결함

  15. IL-0320 주 MySQL 서버의 디스크가 가득 차 메일 발송, API, 웹 화면이 지연됐다Postmark · 2011

    원인 용량 한계

  16. IL-0337 US East 리전 한 가용 영역에서 네트워크 변경으로 EBS 노드가 복제본과 끊겨 EBS 볼륨이 멈췄다Amazon Web Services · 2011

    원인 운영 실수

그래프에서 보기