Incident Library

IL-0556 Storj · 2024-05-20database

수동 데이터베이스 유지 보수 중 열어 둔 트랜잭션이 잠금을 쥐어 Storj US1 satellite 의 업로드와 다운로드가 실패했다

2024년 5월 20일 14시 55분 UTC에 Storj US1 satellite 에서 정기 수동 데이터베이스 유지 보수를 시작했고, 다른 작업을 하는 동안 트랜잭션 하나가 실수로 열린 채 남았다. 열린 트랜잭션은 커밋되거나 롤백될 때까지 해당 데이터에 잠금을 쥐고 있어 다른 작업이 그 데이터에 접근하거나 고치지 못하게 한다. 14시 56분부터 쓰기 작업이 실패했고, 시간이 지나면서 읽기 작업도 영향을 받아 업로드에 이어 다운로드가 멈췄다. 14시 59분에 당번 팀이 호출을 받고 조사했고, 15시 22분에 열린 트랜잭션을 찾아 닫고 복구를 시작했다. 15시 23분에 서비스가 돌아왔다. AP1 과 EU1 satellite 는 영향을 받지 않았다.

심각도
–
영향 범위
Storj US1 satellite storage and retrieval (US1 API, Linksharing, Gateway, Select): uploads failed first, then downloads
영향 사용자
Customers and applications using the US1 satellite
지역
US1
감지까지
3m
복구까지
27m

증상

2024년 5월 20일 14시 56분 UTC쯤 Storj US1 satellite 에서 쓰기 작업이 실패하기 시작했다. 14시 59분에 당번 팀이 호출을 받고 조사를 시작했다.

먼저 업로드가 실패했고, 시간이 지나면서 읽기 작업도 영향을 받아 다운로드까지 실패했다. 서비스 전반이 중단됐다.

영향은 US1 의 API, Linksharing, Gateway, Select 에 미쳤다. AP1 과 EU1 satellite 는 내내 정상으로 동작했다.

증상 잠금 경합과 교착서비스 중단

원인

원인 운영 실수

구성 요소 데이터베이스
기여 요인 –
촉발
14시 55분에 US1 satellite 에서 정기 수동 데이터베이스 유지 보수를 시작했고, 다른 작업을 하는 사이 트랜잭션 하나가 실수로 열린 채 남았다.

감지

14시 59분에 당번 팀이 호출을 받고 조사를 시작했다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.