Incident Library

조직

37signals

37signals · 37signals

4건 · 2018년부터 2022년

원인 용량 한계2건의존성 장애1건소프트웨어 결함1건
구성 요소 백본망2건데이터베이스2건BGP 라우팅1건인메모리 캐시1건데이터베이스 복제1건온프레미스 로드 밸런서1건
기여 요인 용량 계획 부재2건잡음에 묻힌 신호1건수동 조치 악화1건모니터링 사각지대1건여유 용량 부재1건장애 중첩1건재시도 폭주1건단일 장애점1건
증상 지연 시간 증가3건링크 플래핑2건서비스 중단2건데이터베이스 과부하1건오류율 상승1건잠금 경합과 교착1건복제 지연1건쓰기 거부1건

사례

  1. IL-0301 Basecamp 3 의 주 데이터베이스가 정시 부하에 락 경합으로 30초 만에 완전히 막혔다37signals · 2022

    원인 용량 한계

  2. IL-0256 하드웨어 로드 밸런서가 거듭 죽고 대기 장비로 넘어간 뒤 라우터가 동기화하지 못해 Basecamp 전체가 이틀 연속 열리지 않았다37signals · 2020

    원인 소프트웨어 결함

  3. IL-0255 데이터센터 사이 메트로 회선이 잠깐 끊긴 뒤 Redis 레플리카가 재동기화 루프에 빠져 BC3 가 느려지고 채팅이 멈췄다37signals · 2020

    원인 의존성 장애

  4. IL-0300 Basecamp 3 의 events 테이블이 데이터베이스 한도에 닿아 서비스가 다섯 시간 가까이 읽기 전용이 되었다37signals · 2018

    원인 용량 한계