사례1건

1건 중 1~1번째

1. IL-0252 서비스 디스커버리 장애로 Spotify 앱에서 로그아웃된 사용자가 전 세계에서 다시 로그인하지 못했다

   Spotify2022

   증상

   2022년 3월 8일 18:12 UTC 부터 여러 클라이언트 앱에서 사용자가 로그아웃됐다는 신고가 올라오기 시작했다. Spotify 앱에서 로그아웃된 사용자는 다시 로그인할 수 없었고, 장애는 전 세계에 걸쳤다.

   오류율 상승

   촉발

   2022년 3월 8일 Spotify 의 일부 서비스가 서비스 디스커버리에 쓰는 Google Cloud Traffic Director 에 장애가 났다.

   원인

   클라우드 제공자 장애

   구성 요소

   서비스 디스커버리HTTP·RPC 클라이언트 라이브러리

   기여 요인

   장애 중첩

   감지

   18:12 UTC 에 여러 클라이언트 앱에서 사용자가 로그아웃됐다는 신고가 올라오면서 알게 됐다.

   조치

   • 영향받은 시스템이 DNS 기반 서비스 디스커버리를 다시 쓰도록 설정 변경을 배포했다.

   후속 조치

   • Google Cloud 와 함께 Traffic Director 의 문제가 어떻게 Spotify 사용자에게 큰 장애로 번졌는지 알아본다.
   • 비슷한 서비스 디스커버리 문제를 더 일찍 잡도록 모니터링과 알림을 더한다.
   • 모니터링, 오류 자동 감지, 자동 복구 쪽으로 안전장치를 더 찾아 넣는다.

   사례 보기

원인별1