사례1건

1건 중 1~1번째

1. IL-0329 Postgres 17 업그레이드 뒤 다시 켠 PGAudit 가 마이그레이션 중 락을 쥔 채 멈춰, 서비스 전반이 느려지고 데이터베이스가 2분 동안 내려갔다

   incident.io2025

   증상

   2025년 4월 9일 14:16 UTC 부터 대시보드, 모바일 앱, Slack 앱, API 가 간헐적으로 느려졌고, 모니터링이 곧 문제를 알렸다. 14:25 부터 14:27 UTC 까지 2분 동안은 데이터베이스가 완전히 내려가 제품 전체가 영향을 받았다.

   잠금 경합과 교착간헐적 타임아웃지연 시간 증가서비스 중단

   촉발

   PGAudit 를 다시 켠 운영 데이터베이스에서 빈 테이블을 만들고 인덱스를 더하는 평범한 마이그레이션을 14:16 UTC 에 실행했다.

   원인

   소프트웨어 결함

   구성 요소

   데이터베이스

   기여 요인

   –

   감지

   모니터링이 문제를 빠르게 알렸다.

   조치

   • PGAudit 프로세스를 죽이는 시도가 계속 실패하자 데이터베이스를 재시작해 멈춘 프로세스를 강제로 끝냈다. 이 때문에 주 데이터베이스가 14:25 부터 14:27 UTC 까지 2분이 조금 안 되게 내려갔다.
   • 서비스를 되살린 뒤 PGAudit 확장을 잠시 껐다가 완전히 지웠다.

   후속 조치

   • PGAudit 가 안전하다고 보장할 수 있을 때까지 확장을 지운 상태로 두어, 실수로 다시 켜질 위험을 없앤다.
   • 원인 조사를 계속한다.
   • 내부 회고를 한다.
   • 비슷한 상황을 더 잘 감지하고 막고 대응하도록 절차와 모니터링을 보강한다.

   사례 보기

원인별1