사례1건

1건 중 1~1번째

1. IL-0372 Hobby 등급 Heroku Postgres 데이터베이스 약 1%의 연결 문자열이 바뀌어 앱이 17시간 동안 연결하지 못했다

   Heroku2021

   증상

   Heroku 앱이 붙어 있는 Hobby 등급 Postgres 데이터베이스 약 1%에 연결하지 못했다. 상태 페이지는 2021년 2월 25일 03:39 UTC 에 Hobby 등급 데이터베이스의 연결 문제를 조사한다고 알렸다.

   오래된 엔드포인트 라우팅오류율 상승

   촉발

   상위 시스템의 업그레이드 과정에서 공유 데이터베이스 시스템 여러 대의 호스트 이름이 잘못 바뀌었다.

   원인

   업그레이드로 깨진 호환성

   구성 요소

   데이터베이스서비스 디스커버리

   기여 요인

   –

   조치

   • 문제를 알아챈 직후 업그레이드 과정을 멈춰 영향이 넓어지지 않게 했다.
   • 관련 시스템을 모두 새 호스트 정보로 갱신하고, 영향받은 앱에 새 릴리스를 냈다.
   • 고객에게 `heroku pg:credentials:rotate` 로 데이터베이스 자격 증명을 바꾸는 우회 방법을 안내했다. 자격 증명이 여럿이면 `--all` 플래그를 붙이게 했고, 이렇게 하면 영향받은 데이터베이스가 다시 연결됐다.

   후속 조치

   • 비슷한 장애를 잡을 수 있게 모니터링을 개선한다.
   • 비슷한 장애가 다시 나면 복구 시간을 줄일 수 있도록 도구와 문서를 만들었다.

   사례 보기

원인별1