사례1건

1건 중 1~1번째

1. IL-0557 같은 객체에 몰린 동시 업로드가 데이터베이스 트랜잭션 경합을 일으켜 Storj US1 satellite 의 업로드와 다운로드 요청이 실패했다

   Storj2025

   증상

   2025년 8월 7일 21시 4분 UTC부터 Storj US1 satellite 에서 데이터베이스 트랜잭션 잠금이 늘었다. 21시 14분에 당번 팀이 호출을 받았고, 21시 25분에 상태 페이지가 US1 의 업로드와 다운로드 실패를 조사 중이라고 알렸다.

   잠금 경합과 교착간헐적 타임아웃커넥션 풀 고갈오류율 상승

   촉발

   같은 객체들을 겨냥한 동시 업로드가 유난히 많이 몰렸다.

   원인

   용량 한계

   구성 요소

   데이터베이스

   기여 요인

   –

   감지

   21시 14분에 당번 팀이 호출을 받고 조사를 시작했다.

   조치

   • 커넥션 상태를 주기적으로 초기화해 경합 관련 오류가 연쇄로 불어나지 않게 했다.

   후속 조치

   • 데이터베이스 트랜잭션 사이의 경합 원인을 찾아 코드를 고쳐 없앴다.
   • 데이터베이스 잠금이 늘어나는 것을 찾아 팀에 알리는 모니터링과 알림을 더했다.
   • 사고 분석으로 절차와 시스템에서 더 고칠 점을 찾았다. 수동 유지 보수를 줄이거나 없애는 도구를 만드는 일이 그중 하나다.

   사례 보기

원인별1