사례2건

2건 중 1~2번째

1. IL-0307 Supabase us-east-1 에서 Supavisor 2.0 업그레이드 뒤 Postgres 연결 풀러가 테넌트 약 80% 의 연결을 끊었다

   Supabase2025

   증상

   2025년 1월 29일 16:05 UTC 에 us-east-1 의 Supavisor 클라이언트 대다수가 연결이 끊겼고 다시 연결하는 데 자꾸 실패했다. Supavisor 는 Postgres 연결을 관리하는 연결 풀러다. Supabase Storage 연결도 함께 문제를 겪었다.

   연결 리셋간헐적 연결 실패

   촉발

   us-east-1 에 Supavisor 2.0 으로 올리는 메이저 업그레이드를 배포한 뒤, :ets.select_delete 작업이 실패해 ETS 테이블이 손상되었다.

   원인

   배포 결함

   구성 요소

   데이터베이스 프록시와 커넥션 풀러데이터베이스

   기여 요인

   –

   조치

   • 16:11 UTC 에 이전 Supavisor 버전으로 롤백을 시작했고, 16:53 UTC 에 롤백이 끝나 이전 안정 버전으로 정상 동작이 돌아왔다.

   후속 조치

   • 롤백 시간을 40분에서 90초 안으로 줄인다.
   • 클라이언트 연결이 끊기는 것을 2분 안에 잡도록 알림을 고친다.

   교훈

   Supabase 는 이 장애로 롤백이 느리고, 부하가 걸린 상태에서 예상하지 못한 장애를 견디는 힘이 약하다는 점이 드러났다고 밝혔다. 앞으로 비슷한 배포 실패의 영향을 줄이려고 롤백 효율을 높이는 데 집중한다고 썼다.

   사례 보기
2. IL-0444 Aurora MySQL 에서 ALTER TABLE 을 실행할 때마다 그 테이블을 reader 로 읽던 커넥션이 끊겨 애플리케이션 오류가 쏟아졌다

   Repro2024

   증상

   ALTER TABLE 을 실행하면 그 직후 MySQL 클라이언트의 커넥션이 끊겨 오류가 대량으로 나는 일이 있었다.

   연결 리셋오류율 상승

   촉발

   Aurora MySQL 5.7 로 올린 뒤, reader 가 있는 클러스터의 테이블에 ALTER TABLE 을 실행했다.

   원인

   업그레이드로 깨진 호환성

   구성 요소

   데이터베이스

   기여 요인

   스테이징 불일치

   조치

   • 애플리케이션이 커넥션 오류를 받으면 한 번만 재시도하게 했다. Rails 애플리케이션에는 트랜잭션 밖의 reader 쿼리가 "Lost connection to MySQL server" 로 실패하면 다시 연결해 한 번 더 실행하는 몽키 패치를 적용했다.

   사례 보기

원인별2