Incident Library

구성 요소

데이터베이스 장애 조치 관리자

Database failover manager · failover-manager

18건 · 2011년부터 2026년

원인 소프트웨어 결함4건용량 한계3건하드웨어 고장3건설정 변경2건DNS·네트워크 장애2건클라우드 제공자 장애1건배포 결함1건운영 실수1건업그레이드로 깨진 호환성1건
기여 요인 장애 중첩6건미검증 가정5건자동화 증폭5건수동 조치 악화3건모니터링 사각지대3건스테이징 불일치3건과도한 영향 범위2건기본 설정 방치2건늦게 드러난 변경2건단계적 배포 부재2건여유 용량 부재1건부분 배포1건단일 장애점1건안전하지 않은 실패 동작1건데워진 캐시에 기댄 구조1건
증상 장애 조치 실패10건오류율 상승6건지연 시간 증가6건서비스 중단6건복제 지연4건쓰기 거부4건간헐적 타임아웃3건스플릿 브레인3건데이터베이스 과부하2건스토리지 연결 끊김2건데이터 유실1건잠금 경합과 교착1건모니터링 중단1건네트워크 도달 불가1건노드 디스크 가득 참1건노드 CPU 고부하1건패킷 손실1건오래된 엔드포인트 라우팅1건불필요한 페일오버1건
조직 GitHub2건GitLab2건Hatena2건Cloudflare1건DeNA1건GoCardless1건Hightouch1건LINE1건Microsoft Azure1건Neon1건Postmark1건Pusher1건Redis1건Stripe1건updown.io1건

사례, 심각도 순

  1. IL-0569 MySQL master 장애 때 MHA 자동 Failover 뒤 slave 한 대가 relaylog를 적용하지 못해 레플리케이션이 멈췄다DeNA · 2026

    원인 업그레이드로 깨진 호환성

  2. IL-0310 Aurora PostgreSQL 의 수동 장애 조치가 스스로 되돌아가 원래 writer 가 남고 백엔드의 쓰기 쿼리가 실패했다Hightouch · 2025

    원인 소프트웨어 결함

  3. IL-0306 Neon us-east-1 에서 pageserver 를 돌리던 EC2 인스턴스가 예고 없이 죽어 프로젝트 0.4% 의 Postgres 가 최대 2시간 동안 멈췄다Neon · 2024

    원인 하드웨어 고장

  4. IL-0367 Central US 의 Azure Storage 가 VM 디스크 요청을 거부해 VM 과 그 위의 SQL Database, Cosmos DB 가 멈췄다Microsoft Azure · 2024

    원인 설정 변경

  5. IL-0291 GitLab.com 의 redis-sidekiq Sentinel 이 쿼럼을 만들지 못해 Sidekiq 이 30분 동안 멈추고 500 오류가 늘었다GitLab · 2023

    원인 클라우드 제공자 장애

  6. IL-0295 Pusher Channels mt1 클러스터의 메시지 발행 API 가 Redis 장애 조치 도중 11분 동안 거의 멈췄다Pusher · 2022

    원인 소프트웨어 결함

  7. IL-0321 GitLab.com 의 Patroni 주 데이터베이스 노드가 멈춰 장애 조치가 일어났고 쓰기 요청에서 5xx 오류가 튀었다GitLab · 2021

    원인 용량 한계

  8. IL-0240 인증 데이터베이스가 과부하에 걸려 Cloudflare API 와 대시보드가 6시간 33분 동안 실패하고 느려졌다Cloudflare · 2020

    원인 DNS·네트워크 장애

  9. IL-0241 데이터베이스 shard 하나가 primary 를 뽑지 못해 Stripe API 요청 대부분이 두 차례 실패했다Stripe · 2019

    원인 소프트웨어 결함

  10. IL-0289 updown.io 의 주 MongoDB 서버가 쿼리에 평소보다 약 200배 느리게 응답해 사이트와 모니터링 데몬이 거의 멈췄는데 자동 페일오버가 일어나지 않았다updown.io · 2019

    원인 하드웨어 고장

  11. IL-0457 로그 수집 Hadoop 클러스터의 HA HDFS NameNode 가 오전 9시쯤 가끔씩 failover 됐다LINE · 2019

    원인 용량 한계

  12. IL-0210 43초 네트워크 단절 뒤 MySQL 프라이머리가 미국 서부로 넘어가 GitHub.com 이 24시간 11분 동안 느려지고 오래된 데이터를 보여 줬다GitHub · 2018

    원인 DNS·네트워크 장애

  13. IL-0430 Redis 장애 조치 뒤 Mackerel 전체가 느려지고 생존 여부 감시가 4시간 넘게 멈췄다Hatena · 2018

    원인 설정 변경

  14. IL-0219 Postgres 프라이머리의 디스크 어레이가 망가진 뒤 Pacemaker 가 새 프라이머리를 승격하지 못해 GoCardless API 와 대시보드가 1시간 50분 멈췄다GoCardless · 2017

    원인 하드웨어 고장

  15. IL-0431 AWS 로 옮기는 점검 중 PostgreSQL 이 의도하지 않게 장애 조치되어 한 시간 동안 갱신된 데이터가 사라졌다Hatena · 2017

    원인 운영 실수

  16. IL-0278 주간 소프트웨어 업데이트 뒤 GCP 의 Redis Cloud 클러스터 노드 대부분이 동시에 응답하지 않아 그 클러스터의 데이터베이스가 내려갔다Redis · 2016

    원인 배포 결함

  17. IL-0303 GitHub 의 새 3노드 MySQL 클러스터에서 자동 페일오버가 잘못 일어나고 클러스터 상태가 갈라져 GitHub.com 이 두 번 멈췄다GitHub · 2012

    원인 소프트웨어 결함

  18. IL-0320 주 MySQL 서버의 디스크가 가득 차 메일 발송, API, 웹 화면이 지연됐다Postmark · 2011

    원인 용량 한계

그래프에서 보기