Incident Library

증상

복제 지연

Replication lag · replication-lag

18건 · 2012년부터 2026년

원인 용량 한계4건운영 실수3건소프트웨어 결함3건클라우드 제공자 장애2건설정 변경2건의존성 장애1건DNS·네트워크 장애1건하드웨어 고장1건업그레이드로 깨진 호환성1건
구성 요소 데이터베이스17건데이터베이스 복제17건데이터베이스 백업과 스냅숏4건데이터베이스 장애 조치 관리자4건클라우드 블록 스토리지2건백본망1건BGP 라우팅1건인메모리 캐시1건코디네이션 키-값 저장소1건데이터베이스 프록시와 커넥션 풀러1건라이브니스·레디니스 프로브1건NIC·케이블·스위치 포트 링크1건오브젝트 스토리지1건파드 스케줄링과 배치1건텔레메트리 에이전트1건
기여 요인 자동화 증폭4건모니터링 사각지대4건미검증 가정3건기본 설정 방치3건수동 조치 악화3건온콜 호출 미전달3건단일 장애점3건미검증 백업2건런북 부재2건장애 중첩2건잡음에 묻힌 신호1건늦게 드러난 변경1건초기 신호 무시1건한계 경보 부재1건여유 용량 부재1건재시도 폭주1건스테이징 불일치1건자동 테스트 공백1건데워진 캐시에 기댄 구조1건
조직 GitHub2건GitLab2건Wikimedia Foundation2건37signals1건CDN771건DeNA1건Hatena1건InfluxData1건Intercom1건Kickstarter1건OpenStreetMap Foundation1건Oregon State University Open Source Lab1건PlanetScale1건Razorpay1건Repro1건

사례

  1. IL-0379 Azure West Europe 의 InfluxDB Cloud 에서 9월 27일부터 30일까지 쿼리가 느려지고 타임아웃됐다InfluxData · 2026

    원인 용량 한계

  2. IL-0322 GitLab.com 의 모든 주요 서비스에서 HTTP 503 오류가 두 차례 쏟아졌다가 저절로 멎었다GitLab · 2026 · sev1

    원인 클라우드 제공자 장애

  3. IL-0569 MySQL master 장애 때 MHA 자동 Failover 뒤 slave 한 대가 relaylog를 적용하지 못해 레플리케이션이 멈췄다DeNA · 2026

    원인 업그레이드로 깨진 호환성

  4. IL-0288 CDN77 의 ClickHouse 데이터 파이프라인에서 이중화된 인스턴스 세 곳의 ZooKeeperWait 가 수천 초로 치솟아 복제가 한 시간 넘게 느려졌다CDN77 · 2026

    원인 용량 한계

  5. IL-0305 Intercom 의 PlanetScale 샤드 하나에서 복제본이 CPU 100% 로 주 데이터베이스를 따라가지 못해 받은편지함에 최대 2.2시간 전의 데이터가 보였다Intercom · 2026

    원인 용량 한계

  6. IL-0368 AWS us-east-1 장애 동안 PlanetScale 컨트롤 플레인이 멈추고, 이어 일부 데이터베이스 브랜치가 네트워크 분할로 쿼리에 실패했다PlanetScale · 2025

    원인 클라우드 제공자 장애

  7. IL-0527 OpenStreetMap.org 의 복제 diff 생성이 invalid memory alloc request size 오류로 16시간 멈춤OpenStreetMap Foundation · 2025

    원인 소프트웨어 결함

  8. IL-0392 데이터센터 전환을 앞두고 원형 복제를 설정하던 중 Wikimedia x1 섹션의 eqiad·codfw 사이 MariaDB 복제가 6분 멈췄다Wikimedia Foundation · 2024

    원인 설정 변경

  9. IL-0255 데이터센터 사이 메트로 회선이 잠깐 끊긴 뒤 Redis 레플리카가 재동기화 루프에 빠져 BC3 가 느려지고 채팅이 멈췄다37signals · 2020

    원인 의존성 장애

  10. IL-0331 RDS MySQL Multi-AZ 장애 조치 뒤 읽기 복제본 다섯 대의 복제가 모두 깨지고 데이터 5초 분량이 사라졌다Razorpay · 2020

    원인 설정 변경

  11. IL-0443 Aurora MySQL reader 가 이유 없이 재시작한 뒤 writer 의 insert latency 가 7배쯤 오르고 replication lag 가 하루 넘게 이어졌다Repro · 2019

    원인 용량 한계

  12. IL-0323 s3 주 데이터베이스 마스터 db1075 가 완전히 멈춰 s3 위키 전체가 읽기 전용이 됐다Wikimedia Foundation · 2019

    원인 하드웨어 고장

  13. IL-0210 43초 네트워크 단절 뒤 MySQL 프라이머리가 미국 서부로 넘어가 GitHub.com 이 24시간 11분 동안 느려지고 오래된 데이터를 보여 줬다GitHub · 2018

    원인 DNS·네트워크 장애

  14. IL-0431 AWS 로 옮기는 점검 중 PostgreSQL 이 의도하지 않게 장애 조치되어 한 시간 동안 갱신된 데이터가 사라졌다Hatena · 2017

    원인 운영 실수

  15. IL-0218 복제를 다시 맞추다 PostgreSQL 프라이머리의 데이터 디렉터리가 지워지고 백업이 작동하지 않아 GitLab.com 이 약 18시간 멈추고 데이터를 잃었다GitLab · 2017

    원인 운영 실수

  16. IL-0319 mysql2 를 다시 적재하려고 데이터베이스를 지우는 동안 mysql1 의 데이터베이스도 함께 지워졌다Oregon State University Open Source Lab · 2015

    원인 운영 실수

  17. IL-0589 Kickstarter 의 모든 MySQL 복제본이 중복 키 오류로 복제를 멈췄다Kickstarter · 2013

    원인 소프트웨어 결함

  18. IL-0303 GitHub 의 새 3노드 MySQL 클러스터에서 자동 페일오버가 잘못 일어나고 클러스터 상태가 갈라져 GitHub.com 이 두 번 멈췄다GitHub · 2012

    원인 소프트웨어 결함

그래프에서 보기