Incident Library

IL-0376 Upstash · 2025-02-25databaseaws

AWS eu-west-1 의 Upstash 리전 Redis 데이터베이스가 CPU 부하로 몇 시간 동안 느려졌다

AWS eu-west-1 의 리전 Upstash Redis 데이터베이스에 유지보수 업데이트를 하던 중, 그 리전에 있는 여러 데이터베이스가 주 복제본과 백업 복제본 사이에서 전체 동기화를 시작했다. 전체 동기화는 대상 복제본의 데이터를 모두 무효로 하고 원본 복제본에서 처음부터 다시 채우는 작업이다. 평소에는 한 복제본의 데이터 무결성이 깨졌을 때만 필요한데, 이번에는 무결성이 깨지지 않았다. 전체 동기화는 CPU 부하를 크게 올렸다. Upstash 시스템은 동기화를 빨리 끝내려고 동기화 중인 데이터베이스를 스로틀링해 CPU 를 동기화에 더 나눠 줬다. 그래서 이 리전에 복제본이 있는 데이터베이스 일부의 성능이 떨어졌다.

Upstash 는 14:03 UTC 에 성능 저하를 알리고 클러스터에 자원을 더했다. 15:06 UTC 에 영향받은 데이터베이스의 스로틀링을 풀고 처리량을 늘렸지만, 지연은 21:23 UTC 에 전체 동기화가 끝날 때까지 높았다. 20:54 UTC 에 수정을 적용하고 지켜보는 중이라고 알렸고, 21:23 UTC 에 해결로 닫았다. 데이터와 일관성은 잃지 않았다. 영향은 AWS eu-west-1 의 리전 데이터베이스에 한정됐고, 차세대 인프라이자 지금 기본 상품인 Upstash Global 데이터베이스에는 이 문제가 없었다.

심각도
–
영향 범위
Performance of regional Upstash Redis databases with a replica in AWS eu-west-1: very high CPU load, throttling and high latency; no data or consistency lost
영향 사용자
–
지역
AWS eu-west-1
감지까지
–
복구까지
–

증상

AWS eu-west-1 에 복제본이 있는 Upstash 리전 Redis 데이터베이스 일부에서 성능이 떨어지고 지연이 높아졌다. 이 데이터베이스들의 CPU 부하가 매우 높았다.

상태 페이지는 14:03 UTC 에 AWS eu-west-1 의 리전 데이터베이스 클러스터에서 성능이 떨어지고 있다고 알렸다. 이때 Upstash 는 클러스터에 자원을 더하고 있었다.

15:06 UTC 에 스로틀링을 풀고 처리량을 늘린 뒤에도 지연은 높았다. 지연은 21:23 UTC 에 전체 동기화가 끝나고서야 내려갔다.

증상 지연 시간 증가노드 CPU 고부하

원인

원인 소프트웨어 결함

구성 요소 인메모리 캐시데이터베이스 복제
기여 요인 자동화 증폭
촉발
AWS eu-west-1 의 리전 Upstash Redis 데이터베이스에 유지보수 업데이트를 하던 중, 그 리전의 여러 데이터베이스가 주 복제본과 백업 복제본 사이에서 필요 없는 전체 동기화를 시작했다.

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 인메모리 캐시, 데이터베이스 복제. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.