Incident Library

조직

Slack

Slack · slack

4건 · 2020년부터 2022년

원인 소프트웨어 결함2건용량 한계1건클라우드 제공자 장애1건
구성 요소 서비스 디스커버리2건인메모리 캐시1건자동 용량 관리 시스템1건데이터베이스1건DNS 서버와 레코드1건HAProxy1건트랜짓 게이트웨이와 네트워크 연결 장비1건재귀 DNS 리졸버 서비스1건Terraform1건
기여 요인 자동화 증폭3건미검증 가정1건피크 시간 변경1건순환 의존1건비효율적인 쿼리1건디버그 접근 제한1건수동 조치 악화1건한계 경보 부재1건재시도 폭주1건롤백 무효1건스테이징 불일치1건데워진 캐시에 기댄 구조1건
증상 오류율 상승3건노드 증설 실패1건클라우드 API 호출 한도 소진1건데이터베이스 과부하1건DNS 조회 실패1건파일 디스크립터 고갈1건지연 시간 증가1건모니터링 중단1건패킷 손실1건서비스 중단1건오래된 엔드포인트 라우팅1건부하 불균형1건

사례

  1. IL-0212 캐시 적중률이 떨어지며 채널 멤버십 Vitess 키스페이스가 과부하에 빠져 많은 사용자가 Slack 에 접속하지 못했다Slack · 2022

    원인 용량 한계

  2. IL-0250 slack.com 에 DNSSEC 를 켠 뒤 일부 재귀 리졸버에서 slack.com 이름이 풀리지 않아 일부 사용자가 24시간 동안 Slack 에 접속하지 못했다Slack · 2021

    원인 소프트웨어 결함

  3. IL-0220 연휴 뒤 첫 업무일에 AWS Transit Gateway 가 패킷을 버려 Slack 웹 계층이 포화되고 Slack 을 한동안 쓸 수 없었다.Slack · 2021

    원인 클라우드 제공자 장애

  4. IL-0251 HAProxy 가 낡은 백엔드 목록에 묶여 일부 webapp 서버에만 요청을 보내면서 Slack 이 HTTP 503 오류를 냈다Slack · 2020

    원인 소프트웨어 결함