Incident Library

IL-0372 Heroku · 2021-02-25database

Hobby 등급 Heroku Postgres 데이터베이스 약 1%의 연결 문자열이 바뀌어 앱이 17시간 동안 연결하지 못했다

2021년 2월 25일 00:00 UTC 부터 17:10 UTC 까지 Hobby 등급 Heroku Postgres 데이터베이스 약 1%에 앱이 연결하지 못했다. 상위 시스템의 업그레이드 과정에서 공유 데이터베이스 시스템 여러 대의 호스트 이름이 잘못 바뀌었고, 이 변경이 Heroku 앱에 새 정보를 반영하는 시스템에 전달되지 않았다. 그래서 데이터베이스의 연결 문자열은 바뀌었는데 붙어 있는 앱은 새 연결 문자열을 받지 못했다. 문제를 알아챈 직후 업그레이드 과정을 멈춰 영향이 넓어지지 않게 했다. 엔지니어들은 관련 시스템을 모두 새 정보로 갱신하고 영향받은 앱에 새 릴리스를 냈다. 그 사이 고객에게는 데이터베이스 자격 증명을 바꿔 직접 문제를 푸는 우회 방법을 안내했다.

심각도
–
영향 범위
Connections from Heroku apps to about 1% of hobby-tier Heroku Postgres databases
영향 사용자
–
지역
–
감지까지
–
복구까지
17h 10m

증상

Heroku 앱이 붙어 있는 Hobby 등급 Postgres 데이터베이스 약 1%에 연결하지 못했다. 상태 페이지는 2021년 2월 25일 03:39 UTC 에 Hobby 등급 데이터베이스의 연결 문제를 조사한다고 알렸다.

영향받은 데이터베이스는 연결 문자열이 바뀌었는데, 그 데이터베이스가 붙은 Heroku 앱에는 새 연결 문자열이 전달되지 않았다. 그래서 앱이 데이터베이스에 연결하지 못했다.

영향은 00:00 UTC 에 시작됐다. 04:17 UTC 에 원인을 찾아 완화를 시작했고, 11:27 UTC 부터 수정을 내보냈다. 16:16 UTC 공지는 끝나기까지 몇 시간이 더 걸린다고 했다. 사후 보고는 영향이 17:10 UTC 에 끝났다고 적었고, 18:29 UTC 공지는 수정이 나가 오류율이 정상으로 돌아왔다고 알렸다.

증상 오래된 엔드포인트 라우팅오류율 상승

원인

원인 업그레이드로 깨진 호환성

구성 요소 데이터베이스서비스 디스커버리
기여 요인 –
촉발
상위 시스템의 업그레이드 과정에서 공유 데이터베이스 시스템 여러 대의 호스트 이름이 잘못 바뀌었다.

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스, 서비스 디스커버리. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.