사례2건

2건 중 1~2번째

1. IL-0377 QStash US 리전에서 예약 작업의 상태가 어긋나 일정이 사라지거나 되살아나고 두 번 실행됐다

   Upstash2026

   증상

   QStash US 리전에서 일부 사용자의 예약 작업이 이상하게 동작했다. 고친 일정이 반영되지 않았고, 멈춘 일정이 다시 돌았고, 지운 일정이 다시 나타났고, 새로 만든 일정이 실행되지 않았다.

   스플릿 브레인중복 전달과 중복 실행

   촉발

   5월 1일 버그 때문에 시스템이 트래픽을 새 예약 인프라에서 옛 실행 경로로 되돌렸다. 옛 실행 경로는 전환하는 동안 폴백으로 쓰려고 코드에 남겨 둔 것이었다.

   원인

   소프트웨어 결함

   구성 요소

   작업 예약 서비스

   기여 요인

   부분 배포

   조치

   • 새 예약 시스템을 다시 일정 상태의 기준으로 세웠다.
   • 옛 예약 시스템과 새 예약 시스템의 데이터를 맞췄다.
   • 빠진 일정 변경을 새 인프라에 다시 넣었다.
   • 사용자 데이터와 일정이 끊기지 않도록 두 시스템 사이의 충돌을 풀었다.
   • 데이터를 영영 잃지 않도록 일부 경우에는 멈췄거나 지웠던 일정을 되살렸다.

   후속 조치

   • 전환이 끝나면 더는 쓰지 않는 폴백 실행 경로를 지운다.
   • 시스템이 뜻하지 않게 폴백 경로로 넘어가면 막는 자동 장치와 알림을 더한다.
   • 시스템 사이의 일관성 검증을 강화한다.
   • 롤백과 데이터 맞추기 테스트를 넓힌다.

   사례 보기
2. IL-0376 AWS eu-west-1 의 Upstash 리전 Redis 데이터베이스가 CPU 부하로 몇 시간 동안 느려졌다

   Upstash2025

   증상

   AWS eu-west-1 에 복제본이 있는 Upstash 리전 Redis 데이터베이스 일부에서 성능이 떨어지고 지연이 높아졌다. 이 데이터베이스들의 CPU 부하가 매우 높았다.

   지연 시간 증가노드 CPU 고부하

   촉발

   AWS eu-west-1 의 리전 Upstash Redis 데이터베이스에 유지보수 업데이트를 하던 중, 그 리전의 여러 데이터베이스가 주 복제본과 백업 복제본 사이에서 필요 없는 전체 동기화를 시작했다.

   원인

   소프트웨어 결함

   구성 요소

   인메모리 캐시데이터베이스 복제

   기여 요인

   자동화 증폭

   조치

   • AWS eu-west-1 의 리전 데이터베이스 클러스터에 자원을 더했다.
   • 15:06 UTC 에 영향받은 데이터베이스의 스로틀링을 풀고 처리량을 늘렸다.

   후속 조치

   • 리전 데이터베이스에서 불필요한 전체 동기화가 일어나지 않게 하는 수정을 배포한다.
   • 리전 데이터베이스 사용자에게 Upstash Global 로 옮기는 방법을 안내한다.

   사례 보기

원인별1