사례1건

1건 중 1~1번째

1. IL-0307 Supabase us-east-1 에서 Supavisor 2.0 업그레이드 뒤 Postgres 연결 풀러가 테넌트 약 80% 의 연결을 끊었다

   Supabase2025

   증상

   2025년 1월 29일 16:05 UTC 에 us-east-1 의 Supavisor 클라이언트 대다수가 연결이 끊겼고 다시 연결하는 데 자꾸 실패했다. Supavisor 는 Postgres 연결을 관리하는 연결 풀러다. Supabase Storage 연결도 함께 문제를 겪었다.

   연결 리셋간헐적 연결 실패

   촉발

   us-east-1 에 Supavisor 2.0 으로 올리는 메이저 업그레이드를 배포한 뒤, :ets.select_delete 작업이 실패해 ETS 테이블이 손상되었다.

   원인

   배포 결함

   구성 요소

   데이터베이스 프록시와 커넥션 풀러데이터베이스

   기여 요인

   –

   조치

   • 16:11 UTC 에 이전 Supavisor 버전으로 롤백을 시작했고, 16:53 UTC 에 롤백이 끝나 이전 안정 버전으로 정상 동작이 돌아왔다.

   후속 조치

   • 롤백 시간을 40분에서 90초 안으로 줄인다.
   • 클라이언트 연결이 끊기는 것을 2분 안에 잡도록 알림을 고친다.

   교훈

   Supabase 는 이 장애로 롤백이 느리고, 부하가 걸린 상태에서 예상하지 못한 장애를 견디는 힘이 약하다는 점이 드러났다고 밝혔다. 앞으로 비슷한 배포 실패의 영향을 줄이려고 롤백 효율을 높이는 데 집중한다고 썼다.

   사례 보기

원인별1