Incident Library

IL-0369 Railway · 2025-12-09database

데이터베이스 마이그레이션이 잠금에 막히는 동안 Railway 백엔드 복제본이 헬스 체크에 실패해 대시보드와 API 가 멈췄다

Railway 는 공유 PostgreSQL 데이터베이스에 연결된 백엔드로 돌아가고, 연결 풀링은 PgBouncer 가 맡는다. 백엔드 요청은 여러 복제본이 나눠 받고, 복제본은 주기적인 헬스 체크를 통과해야 트래픽을 계속 받는다. 데이터베이스 연결을 얻지 못한 복제본은 비정상으로 표시되어 트래픽을 받지 않는다.

12월 9일 Railway 는 약 10억 행이 있는 테이블에 nullable 열을 더하는 마이그레이션을 배포했다. 이 테이블에서 오래 도는 쿼리가 잠금을 잡고 있어 마이그레이션이 멈췄다. 그 사이 연결 시도가 쌓여 PgBouncer 가 데이터베이스의 연결 한도를 넘었고, 복제본들이 헬스 체크에 실패해 트래픽 대상에서 빠졌다. 오래 돌던 쿼리가 끝나 잠금을 풀자 마이그레이션이 곧바로 적용됐다. 복제본은 다시 연결하고 헬스 체크를 통과해 트래픽 대상으로 돌아왔다. 15:26 UTC 에 백엔드가 안정돼 다시 트래픽을 받았다.

심각도
–
영향 범위
Railway backend API: dashboard access, CLI operations, GitHub-based deployment processing, login and API functionality; running deployments stayed online
영향 사용자
–
지역
–
감지까지
–
복구까지
8m

증상

Railway 백엔드 API 가 트래픽을 받지 못해 대시보드 접속, CLI 작업, GitHub 기반 배포 처리, 로그인, API 가 멈췄다. 이미 돌고 있던 배포는 계속 온라인이었고, 이 시스템들을 쓰지 않은 사용자는 영향을 받지 않았다.

백엔드 복제본은 주기적인 헬스 체크를 통과해야 트래픽을 받는다. 데이터베이스 연결을 얻지 못한 복제본은 비정상으로 표시되어 트래픽을 받지 않는다. 마이그레이션이 잠금에 막힌 사이 연결 시도가 쌓여 PgBouncer 가 데이터베이스의 연결 한도를 넘었고, 복제본이 헬스 체크에 실패해 트래픽 대상에서 빠졌다.

12월 9일 15:17 UTC 에 데이터베이스 마이그레이션이 적용되기 시작했고, 15:18 UTC 에 데이터베이스의 잠금 충돌로 백엔드 복제본이 비정상이 됐다. 15:26 UTC 에 데이터 마이그레이션이 끝나자 모든 백엔드 복제본이 돌아왔다.

증상 프로브 실패잠금 경합과 교착데이터베이스 과부하서비스 중단

원인

원인 배포 결함

구성 요소 데이터베이스데이터베이스 프록시와 커넥션 풀러스키마 마이그레이션라이브니스·레디니스 프로브
기여 요인 의존성에 묶인 헬스 체크
촉발
엔지니어들이 15:03 UTC 에 데이터 마이그레이션이 들어간 데이터베이스 스키마 변경을 머지했다. 이 마이그레이션은 약 10억 행이 있고 많이 쓰는 테이블에 nullable 열을 더하는 것이었다.

감지

–

조치

–

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스, 데이터베이스 프록시와 커넥션 풀러, 스키마 마이그레이션. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.