Incident Library

IL-0554 Sentry · 2024-10-10database

데이터베이스 마이그레이션의 긴 쿼리가 Postgres 커넥션을 고갈시켜 Sentry US 의 사이트와 수집이 22분 동안 멈췄다

Sentry 는 데이터베이스 마이그레이션의 일부 작업을 RunSQL 명령으로 실행했다. 시스템에는 SQL 실행 중에 필요한 잠금 타임아웃과 구문 타임아웃이 빠진 것을 잡아내는 안전장치가 충분하지 않았다. 그 때문에 쿼리가 오래 돌면서 데이터베이스 커넥션을 고갈시켰다. 데이터베이스에 접근할 수 없게 되자 2024년 10월 10일 오후 3시 42분부터 4시 4분 PT까지 Sentry US 의 사이트와 이벤트 수집이 멈췄다. 수정을 적용한 뒤 대시보드와 수집이 회복했다.

심각도
–
영향 범위
Sentry US dashboard, API and all US ingestion (errors, transactions, attachments, profiles, replays, spans, cron monitoring, custom metrics)
영향 사용자
–
지역
Sentry US
감지까지
–
복구까지
22m

증상

2024년 10월 10일 오후 3시 42분부터 4시 4분 PT까지 Sentry US 의 사이트와 이벤트 수집을 모두 쓸 수 없었다. 상태 페이지는 Postgres 데이터베이스 문제로 사이트를 쓸 수 없다고 알렸다.

영향은 대시보드, API, US 수집 전체에 미쳤다. 오류, 트랜잭션, 첨부 파일, 프로파일, 리플레이, 스팬 수집과 크론 모니터링, 베타 단계인 Custom Metrics 가 함께 멈췄다.

증상 서비스 중단데이터베이스 과부하

원인

원인 배포 결함

구성 요소 데이터베이스스키마 마이그레이션
기여 요인 설정 테스트 부재런북 부재
촉발
RunSQL 명령으로 실행한 데이터베이스 마이그레이션에 잠금 타임아웃과 구문 타임아웃이 걸려 있지 않아 쿼리가 오래 돌았다.

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스, 스키마 마이그레이션. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.