Incident Library

IL-0545 Wasabi · 2024-11-30database

Wasabi 전 리전에서 모든 API 호출이 HTTP 5XX 오류로 실패했다

2024년 11월 30일 00:17 UTC 부터 약 03:00 UTC 까지 Wasabi 의 모든 스토리지 리전에서 Wasabi Cloud Storage 와 Web Console 로 가는 클라이언트 연결이 실패했고, 모든 API 호출이 HTTP 5XX 오류로 끝났다. 원인은 클라이언트 요청을 받아 전역 데이터베이스 클러스터로 보내는 내부 메시징 큐 서비스의 오류였다. 이 큐 서비스가 클라이언트 요청을 모든 노드에 제대로 나눠 보내지 못했다.

Wasabi 의 엔지니어링팀과 운영팀은 내부 서버가 여러 데이터베이스 인스턴스로 요청을 나눠 보내도록 직접 설정해 서비스를 되살렸다. 그 뒤 내부 메시징 큐를 복구하고 클라이언트 요청을 제대로 처리하는 자동 작업을 다시 돌려 근본 원인을 바로잡는 작업을 했다. 상태 페이지의 갱신에 따르면 us-east-1 이 마지막까지 오류를 냈고, 04:45 UTC 에 모든 리전이 완전히 정상이 됐다.

심각도
–
영향 범위
Client connections to Wasabi Cloud Storage and the Web Console, with all API calls returning HTTP 5XX errors; the status page also lists the Wasabi Account Control API, the Wasabi Account Control Manager Console and the Wasabi Management Console
영향 사용자
–
지역
All Wasabi storage regions; us-east-1 (Ashburn) recovered last
감지까지
–
복구까지
2h 43m

증상

2024년 11월 30일 00:17 UTC 부터 Wasabi 의 모든 스토리지 리전에서 Wasabi Cloud Storage 와 Web Console 로 가는 클라이언트 연결 시도가 실패했고, 모든 API 호출이 HTTP 5XX 오류로 끝났다. 상태 페이지에는 00:20 UTC 에 전 리전의 네트워크 오류를 조사하고 있으며 Console 과 S3 서비스 접속이 오류를 낼 수 있다는 글이 올라왔다.

03:08 UTC 에도 일부 트래픽은 계속 오류를 받았다. 상태 페이지는 03:43 UTC 에 us-east-1 을 뺀 모든 리전이 복구될 것으로 본다고 알렸고, 애시번에서는 여전히 오류 응답이 일부 보인다고 적었다. 04:45 UTC 에는 모든 리전이 완전히 정상으로 돌아왔다고 알렸다.

상태 페이지는 영향 범위로 US-Central-1, US-East-1, US-East-2, US-West-1, CA-Central-1, EU-Central-1, EU-Central-2, EU-West-1, EU-West-2, EU-West-3, EU-South-1, AP-Northeast-1, AP-Northeast-2, AP-Southeast-1, AP-Southeast-2 와 Wasabi Account Control API, Wasabi Account Control Manager Console, Wasabi Management Console 을 적었다.

증상 서비스 중단부하 불균형

원인

원인 unknown

구성 요소 메시지 브로커데이터베이스
기여 요인 –
촉발
–

감지

–

조치

후속 조치

–

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 메시지 브로커, 데이터베이스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.