Incident Library

조직

Hatena

Hatena · hatena

2건 · 2017년부터 2018년

원인 설정 변경1건운영 실수1건
구성 요소 데이터베이스 복제2건데이터베이스 장애 조치 관리자2건인메모리 캐시1건데이터베이스1건
기여 요인 자동화 증폭2건장애 중첩2건기본 설정 방치1건스테이징 불일치1건
증상 데이터 유실1건지연 시간 증가1건간헐적 타임아웃1건모니터링 중단1건네트워크 도달 불가1건복제 지연1건

사례

  1. IL-0430 Redis 장애 조치 뒤 Mackerel 전체가 느려지고 생존 여부 감시가 4시간 넘게 멈췄다Hatena · 2018

    원인 설정 변경

  2. IL-0431 AWS 로 옮기는 점검 중 PostgreSQL 이 의도하지 않게 장애 조치되어 한 시간 동안 갱신된 데이터가 사라졌다Hatena · 2017

    원인 운영 실수