Incident Library

IL-0544 Wasabi · 2024-08-06database

Wasabi 전 리전의 S3 와 사용자 서비스에 이틀에 걸쳐 세 차례 장애가 났다

2024년 8월 6일 10:32 UTC 부터 8월 7일 20:40 UTC 사이에 Wasabi 전 리전의 S3 와 사용자 서비스에 세 차례 장애가 났다.

첫 번째는 8월 6일 10:32 UTC 에 큐 서비스가 가득 찬 상태가 되면서 시작됐다. 이 때문에 데이터베이스 캐시가 응답하지 않게 됐다. 운영팀은 데이터베이스에 남은 오래된 연결을 모두 정리하려고 주 데이터베이스를 재시작하면서 동시에 큐 서비스의 큐를 비웠다. 이 조치로 데이터베이스가 완전히 동작하는 상태로 돌아오지 않자 보조 데이터베이스 인스턴스를 주 인스턴스로 승격했고, 11:20 UTC 에 S3 서비스가 다시 정상이 됐다. 13:17 UTC 부터 13:23 UTC 까지 운영팀은 큐 서비스 라이브러리를 데이터베이스에 완전히 반영하려고 데이터베이스를 한 번 더 재시작했다.

두 번째는 8월 7일 02:55 UTC 부터 03:35 UTC 까지였다. 운영팀은 큐 서비스와 앞서 승격한 보조 데이터베이스 인스턴스에서 설정 문제를 찾았다. 이 설정 문제가 Web Console, WAC API, WACM 인터페이스 같은 사용자 서비스의 타임아웃을 일으키고 있었다. 운영팀이 원래의 주 데이터베이스를 다시 운영에 올리자 문제가 풀렸다. 이 사건에서 S3 서비스는 영향이 없었다.

세 번째는 8월 7일 20:30 UTC 부터 20:44 UTC 까지였다. 자동화 서비스가 자동화 클러스터 하나를 보지 못하면서 S3 vault 가 받아들이는 트래픽이 조금 줄었다. 운영팀이 이 클러스터를 다시 만들어 배포하자 S3 서비스가 완전히 돌아왔다.

심각도
–
영향 범위
S3 service (affected from 10:32 until it was fully operational again at 11:20 UTC on 6 August, and a small drop in accepted traffic on 7 August) and user services such as the Web Console, WAC API and WACM interface
영향 사용자
–
지역
All Wasabi regions: US-Central-1, US-East-1, US-East-2, US-West-1, CA-Central-1, EU-Central-1, EU-Central-2, EU-West-1, EU-West-2, AP-Northeast-1, AP-Northeast-2, AP-Southeast-1, AP-Southeast-2
감지까지
–
복구까지
34h 8m

증상

2024년 8월 6일 10:32 UTC 부터 Wasabi 전 리전에서 S3 와 사용자 서비스에 오류가 났다. 상태 페이지에는 10:56 UTC 에 Web Console 로그인 문제와 Wasabi 리전의 오류를 조사한다는 글이 올라왔다.

첫 번째 사건에서는 큐 서비스가 가득 찬 상태가 되면서 데이터베이스 캐시가 응답하지 않았다. 운영팀이 주 데이터베이스를 재시작했지만 데이터베이스는 완전히 동작하는 상태로 돌아오지 않았다. S3 서비스는 보조 인스턴스를 승격한 뒤 11:20 UTC 에 다시 정상이 됐다.

두 번째 사건은 8월 7일 02:55 UTC 부터 03:35 UTC 까지였다. Web Console, WAC API, WACM 인터페이스 같은 사용자 서비스에서 타임아웃이 났고, S3 서비스에는 영향이 없었다.

세 번째 사건은 8월 7일 20:30 UTC 부터 20:44 UTC 까지였다. 자동화 서비스가 자동화 클러스터 하나를 보지 못하게 되면서 S3 vault 가 받아들이는 트래픽이 조금 줄었다.

상태 페이지는 영향 범위로 US-Central-1, US-East-1, US-East-2, US-West-1, CA-Central-1, EU-Central-1, EU-Central-2, EU-West-1, EU-West-2, AP-Northeast-1, AP-Northeast-2, AP-Southeast-1, AP-Southeast-2 와 Wasabi Management Console 을 적었다.

증상 서비스 중단장애 조치 실패간헐적 타임아웃

원인

원인 용량 한계

구성 요소 메시지 브로커인메모리 캐시데이터베이스
기여 요인 –
촉발
2024년 8월 6일 10:32 UTC 에 큐 서비스가 가득 찬 상태가 됐다.

감지

–

조치

후속 조치

–

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 메시지 브로커, 인메모리 캐시, 데이터베이스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.