Incident Library

IL-0557 Storj · 2025-08-07database

같은 객체에 몰린 동시 업로드가 데이터베이스 트랜잭션 경합을 일으켜 Storj US1 satellite 의 업로드와 다운로드 요청이 실패했다

2025년 8월 7일 21시 4분 UTC쯤 같은 객체들을 겨냥한 동시 업로드가 유난히 많이 몰리면서 Storj US1 satellite 의 데이터베이스에서 트랜잭션 경합으로 병목이 생겼다. 트랜잭션은 커밋되거나 롤백될 때까지 해당 데이터에 잠금을 쥐어 다른 작업을 막는다. 잠금이 쌓이자 요청 타임아웃과 커넥션 풀 고갈이 연쇄로 이어졌다. 21시 14분에 당번 팀이 호출을 받아 조사했고, 커넥션 상태를 주기적으로 초기화해 경합 오류가 연쇄로 불어나는 것을 막았다. 21시 55분에 수정 조치를 적용하고 지켜보던 중 22시 31분에 오류율이 다시 올랐다. 오류율은 22시 45분에 정상으로 내려왔고, 서비스는 23시 5분에 완전히 복구됐다. AP1 과 EU1 satellite 는 영향을 받지 않았다.

심각도
–
영향 범위
Storj US1 satellite uploads and downloads (US1 Linksharing, Gateway, Select)
영향 사용자
Customers and applications using the US1 satellite
지역
US1
감지까지
10m
복구까지
2h 1m

증상

2025년 8월 7일 21시 4분 UTC부터 Storj US1 satellite 에서 데이터베이스 트랜잭션 잠금이 늘었다. 21시 14분에 당번 팀이 호출을 받았고, 21시 25분에 상태 페이지가 US1 의 업로드와 다운로드 실패를 조사 중이라고 알렸다.

데이터베이스 잠금이 쌓이면서 요청 타임아웃과 커넥션 풀 고갈이 이어졌다. 오래 도는 트랜잭션이 늘어날수록 요청 타임아웃이 늘었다.

21시 55분에 수정 조치를 적용한 뒤 22시 31분에 오류율이 다시 올랐다. 22시 45분에 오류율이 정상으로 내려왔고 23시 5분에 서비스가 완전히 돌아왔다.

영향은 US1 의 Linksharing, Gateway, Select 에 미쳤다. AP1 과 EU1 satellite 는 내내 정상으로 동작했다.

증상 잠금 경합과 교착간헐적 타임아웃커넥션 풀 고갈오류율 상승

원인

원인 용량 한계

구성 요소 데이터베이스
기여 요인 –
촉발
같은 객체들을 겨냥한 동시 업로드가 유난히 많이 몰렸다.

감지

21시 14분에 당번 팀이 호출을 받고 조사를 시작했다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.