Incident Library

구성 요소

데이터베이스 복제

Database replication · database-replication

33건 · 2012년부터 2026년

원인 용량 한계6건설정 변경6건소프트웨어 결함5건운영 실수4건DNS·네트워크 장애3건클라우드 제공자 장애2건의존성 장애2건업그레이드로 깨진 호환성2건인증서·자격 증명 만료1건데이터 손상1건하드웨어 고장1건
기여 요인 모니터링 사각지대10건자동화 증폭8건수동 조치 악화7건미검증 가정6건장애 중첩5건미검증 백업4건단일 장애점4건기본 설정 방치3건런북 부재3건파괴적 변경 보호 장치 부재3건여유 용량 부재3건온콜 호출 미전달3건늦게 드러난 변경2건초기 신호 무시2건재시도 폭주2건스테이징 불일치2건잡음에 묻힌 신호1건과도한 영향 범위1건미패치 알려진 버그1건한계 미인지1건디버그 접근 제한1건자동 테스트 공백1건안전하지 않은 실패 동작1건데워진 캐시에 기댄 구조1건
증상 복제 지연17건지연 시간 증가12건서비스 중단11건데이터 유실8건데이터베이스 과부하7건쓰기 거부5건오류율 상승4건간헐적 타임아웃3건네트워크 도달 불가3건처리량 저하3건장애 조치 실패2건패킷 손실2건스플릿 브레인2건노드 증설 실패1건클러스터·노드 생성 정체1건커넥션 풀 고갈1건DNS 조회 실패1건간헐적 연결 실패1건링크 플래핑1건모니터링 중단1건노드 CPU 고부하1건프로브 실패1건부하 불균형1건
조직 DigitalOcean2건GitHub2건Hatena2건OpenStreetMap Foundation2건Wikimedia Foundation2건37signals1건BattleMetrics1건CDN771건Cloudflare1건DeNA1건GitLab1건InfluxData1건Instapaper1건Intercom1건Kickstarter1건Kit1건LootLocker1건Mailgun1건Matrix.org Foundation1건Oregon State University Open Source Lab1건PlanetScale1건PostHog1건Razorpay1건Repro1건RevenueCat1건Transloadit1건Twilio1건Upstash1건

사례, 심각도 순

  1. IL-0490 관리형 데이터베이스에서 자체 MySQL로 옮긴 뒤 이전 직전에 쓴 기록이 새 데이터베이스에 없어 LootLocker 서비스가 저하됐다LootLocker · 2026 · sev2

    원인 인증서·자격 증명 만료

  2. IL-0379 Azure West Europe 의 InfluxDB Cloud 에서 9월 27일부터 30일까지 쿼리가 느려지고 타임아웃됐다InfluxData · 2026

    원인 용량 한계

  3. IL-0569 MySQL master 장애 때 MHA 자동 Failover 뒤 slave 한 대가 relaylog를 적용하지 못해 레플리케이션이 멈췄다DeNA · 2026

    원인 업그레이드로 깨진 호환성

  4. IL-0288 CDN77 의 ClickHouse 데이터 파이프라인에서 이중화된 인스턴스 세 곳의 ZooKeeperWait 가 수천 초로 치솟아 복제가 한 시간 넘게 느려졌다CDN77 · 2026

    원인 용량 한계

  5. IL-0281 PostHog US 리전 Logs 제품의 ClickHouse 클러스터가 S3 에 둔 로그 데이터를 거의 다 지워 3일보다 오래된 로그가 사라졌다PostHog · 2026

    원인 소프트웨어 결함

  6. IL-0305 Intercom 의 PlanetScale 샤드 하나에서 복제본이 CPU 100% 로 주 데이터베이스를 따라가지 못해 받은편지함에 최대 2.2시간 전의 데이터가 보였다Intercom · 2026

    원인 용량 한계

  7. IL-0368 AWS us-east-1 장애 동안 PlanetScale 컨트롤 플레인이 멈추고, 이어 일부 데이터베이스 브랜치가 네트워크 분할로 쿼리에 실패했다PlanetScale · 2025

    원인 클라우드 제공자 장애

  8. IL-0242 primary 와 secondary PostgreSQL 데이터베이스를 모두 잃어 matrix.org homeserver 가 약 24시간 동안 멈췄다Matrix.org Foundation · 2025

    원인 운영 실수

  9. IL-0527 OpenStreetMap.org 의 복제 diff 생성이 invalid memory alloc request size 오류로 16시간 멈춤OpenStreetMap Foundation · 2025

    원인 소프트웨어 결함

  10. IL-0376 AWS eu-west-1 의 Upstash 리전 Redis 데이터베이스가 CPU 부하로 몇 시간 동안 느려졌다Upstash · 2025

    원인 소프트웨어 결함

  11. IL-0526 HE.net 암스테르담 라우팅 장비 고장으로 OpenStreetMap.org 의 이중 광 회선이 모두 끊김OpenStreetMap Foundation · 2024

    원인 의존성 장애

  12. IL-0392 데이터센터 전환을 앞두고 원형 복제를 설정하던 중 Wikimedia x1 섹션의 eqiad·codfw 사이 MariaDB 복제가 6분 멈췄다Wikimedia Foundation · 2024

    원인 설정 변경

  13. IL-0374 DigitalOcean 내부 서비스 디스커버리가 전 리전에서 멈춰 생성, 이벤트 처리, 제어판과 API 관리가 실패했다DigitalOcean · 2024

    원인 설정 변경

  14. IL-0488 EBS 성능 저하 뒤 Kit의 RDS MySQL 쓰기 지연이 100배 넘게 늘어 Sidekiq 작업 처리가 느려졌다Kit · 2022

    원인 클라우드 제공자 장애

  15. IL-0308 RevenueCat 이 Aurora PostgreSQL 10 에서 14 새 클러스터로 넘어간 직후 쿼리가 극도로 느려져 대시보드와 SDK 엔드포인트가 세 시간 넘게 실패했다RevenueCat · 2022

    원인 업그레이드로 깨진 호환성

  16. IL-0311 주 PostgreSQL 데이터베이스가 트랜잭션 ID wraparound 보호로 읽기 전용이 되어 웹사이트와 백엔드 서비스가 멈췄다BattleMetrics · 2022

    원인 데이터 손상

  17. IL-0240 인증 데이터베이스가 과부하에 걸려 Cloudflare API 와 대시보드가 6시간 33분 동안 실패하고 느려졌다Cloudflare · 2020

    원인 DNS·네트워크 장애

  18. IL-0255 데이터센터 사이 메트로 회선이 잠깐 끊긴 뒤 Redis 레플리카가 재동기화 루프에 빠져 BC3 가 느려지고 채팅이 멈췄다37signals · 2020

    원인 의존성 장애

  19. IL-0331 RDS MySQL Multi-AZ 장애 조치 뒤 읽기 복제본 다섯 대의 복제가 모두 깨지고 데이터 5초 분량이 사라졌다Razorpay · 2020

    원인 설정 변경

  20. IL-0443 Aurora MySQL reader 가 이유 없이 재시작한 뒤 writer 의 insert latency 가 7배쯤 오르고 replication lag 가 하루 넘게 이어졌다Repro · 2019

    원인 용량 한계

  21. IL-0323 s3 주 데이터베이스 마스터 db1075 가 완전히 멈춰 s3 위키 전체가 읽기 전용이 됐다Wikimedia Foundation · 2019

    원인 하드웨어 고장

  22. IL-0210 43초 네트워크 단절 뒤 MySQL 프라이머리가 미국 서부로 넘어가 GitHub.com 이 24시간 11분 동안 느려지고 오래된 데이터를 보여 줬다GitHub · 2018

    원인 DNS·네트워크 장애

  23. IL-0430 Redis 장애 조치 뒤 Mackerel 전체가 느려지고 생존 여부 감시가 4시간 넘게 멈췄다Hatena · 2018

    원인 설정 변경

  24. IL-0431 AWS 로 옮기는 점검 중 PostgreSQL 이 의도하지 않게 장애 조치되어 한 시간 동안 갱신된 데이터가 사라졌다Hatena · 2017

    원인 운영 실수

  25. IL-0325 주 데이터베이스가 지워져 DigitalOcean 제어판과 API 가 4시간 56분 동안 멈췄다DigitalOcean · 2017

    원인 설정 변경

  26. IL-0334 RDS MySQL 의 bookmarks 테이블이 2TB 파일 크기 한도에 닿아 INSERT 가 실패하고 Instapaper 가 31시간 동안 멈췄다Instapaper · 2017

    원인 용량 한계

  27. IL-0218 복제를 다시 맞추다 PostgreSQL 프라이머리의 데이터 디렉터리가 지워지고 백업이 작동하지 않아 GitLab.com 이 약 18시간 멈추고 데이터를 잃었다GitLab · 2017

    원인 운영 실수

  28. IL-0296 Transloadit 의 us-east 리전 Redis 클러스터가 대역폭에 막혀 작업과 하트비트를 잃었다Transloadit · 2016

    원인 용량 한계

  29. IL-0319 mysql2 를 다시 적재하려고 데이터베이스를 지우는 동안 mysql1 의 데이터베이스도 함께 지워졌다Oregon State University Open Source Lab · 2015

    원인 운영 실수

  30. IL-0590 Rackspace ORD 재부팅 뒤 Mailgun 연결이 간헐적으로 실패하고 이벤트 유실과 이메일 중복 발송이 났다Mailgun · 2014

    원인 DNS·네트워크 장애

  31. IL-0215 Twilio 결제 시스템의 Redis 가 잔액 데이터를 잃고 읽기 전용이 되어 자동 충전 고객의 신용카드가 반복 결제됐다Twilio · 2013

    원인 설정 변경

  32. IL-0589 Kickstarter 의 모든 MySQL 복제본이 중복 키 오류로 복제를 멈췄다Kickstarter · 2013

    원인 소프트웨어 결함

  33. IL-0303 GitHub 의 새 3노드 MySQL 클러스터에서 자동 페일오버가 잘못 일어나고 클러스터 상태가 갈라져 GitHub.com 이 두 번 멈췄다GitHub · 2012

    원인 소프트웨어 결함

그래프에서 보기