Incident Library

IL-0252 Spotify · 2022-03-08gcpnetworking

서비스 디스커버리 장애로 Spotify 앱에서 로그아웃된 사용자가 전 세계에서 다시 로그인하지 못했다

Spotify 백엔드는 서로 통신하는 여러 마이크로서비스로 이루어져 있다. 서비스 대부분은 DNS 기반 서비스 디스커버리를 쓰지만, 일부는 xDS 기반 트래픽 컨트롤 플레인이자 디스커버리 시스템인 Traffic Director 를 쓴다. 3월 8일 Google Cloud Traffic Director 에 장애가 났고, 여기에 클라이언트 라이브러리인 gRPC 의 버그가 겹쳐 전 세계 장애가 됐다. 로그아웃된 사용자는 다시 로그인하지 못했다. 18:12 UTC 에 신고가 들어왔고, 18:39 UTC 부터 영향받은 시스템을 DNS 기반 서비스 디스커버리로 되돌리는 설정 변경을 배포했다. 시스템은 서서히 회복했고 20:35 UTC 에 완전히 완화됐다.

심각도
–
영향 범위
Login to Spotify apps: logged-out users could not log back in
영향 사용자
–
지역
global
감지까지
–
복구까지
–

증상

2022년 3월 8일 18:12 UTC 부터 여러 클라이언트 앱에서 사용자가 로그아웃됐다는 신고가 올라오기 시작했다. Spotify 앱에서 로그아웃된 사용자는 다시 로그인할 수 없었고, 장애는 전 세계에 걸쳤다.

증상 오류율 상승

원인

원인 클라우드 제공자 장애

구성 요소 서비스 디스커버리HTTP·RPC 클라이언트 라이브러리
기여 요인 장애 중첩
촉발
2022년 3월 8일 Spotify 의 일부 서비스가 서비스 디스커버리에 쓰는 Google Cloud Traffic Director 에 장애가 났다.

감지

18:12 UTC 에 여러 클라이언트 앱에서 사용자가 로그아웃됐다는 신고가 올라오면서 알게 됐다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 서비스 디스커버리, HTTP·RPC 클라이언트 라이브러리. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.