Incident Library

IL-0370 Render · 2022-05-23database

Frankfurt 에서 노드 하드웨어 장애 뒤 Render Postgres 데이터베이스가 다른 노드에서 시작하지 못해 최대 1시간 5분 멈췄다

2022년 5월 23일 08:30 AM UTC 에 Frankfurt 에서 외부 클라우드 제공자의 노드 하나가 하드웨어 문제로 상태 검사에 실패했다. 그 노드의 Postgres 데이터베이스 인스턴스는 건강한 노드에서 다시 시작해야 했지만, 디스크가 아직 옛 노드에 붙어 있어 시작하지 못했다. 데이터베이스가 시작 도중 한 상태에서 15분 이상 넘어가지 못하면 울리는 알림이 08:57 AM UTC 에 당번 엔지니어를 자동으로 호출했다. 엔지니어는 디스크가 옛 노드에 붙어 있는 것을 확인하고 09:27 AM UTC 쯤 그 노드를 손으로 종료했다. 그러자 디스크가 건강한 노드에 붙었고, 09:35 AM UTC 에 모든 데이터베이스 인스턴스가 돌아왔다. 그 노드의 사용자 Postgres 데이터베이스는 모두 최대 1시간 5분 동안 완전히 멈췄다.

심각도
–
영향 범위
All user Postgres databases on the failed node had a complete outage
영향 사용자
–
지역
Frankfurt
감지까지
27m
복구까지
1h 5m

증상

Frankfurt 의 한 노드에 있던 사용자 Postgres 데이터베이스가 모두 완전히 멈췄다. Render 는 Frankfurt 의 Postgres 데이터베이스 가용성 문제 보고를 받았다.

2022년 5월 23일 08:30 AM UTC 에 외부 클라우드 제공자의 노드가 하드웨어 문제로 상태 검사에 실패했다. 데이터베이스 인스턴스는 건강한 노드에서 시작하지 못하고, 시작 도중 한 상태에서 더 나아가지 못했다. 디스크가 아직 옛 노드에 붙어 있었기 때문이다.

당번 엔지니어는 08:57 AM UTC 에 호출됐다. Render 는 호출 19분 뒤, 장애가 시작된 지 46분째에야 상태 페이지에 장애를 올렸다. 그래서 상태 페이지에는 19분짜리 부분 장애로 잘못 표시됐다. 09:35 AM UTC 에 모든 데이터베이스 인스턴스가 돌아왔다.

증상 서비스 중단스토리지 연결 끊김

원인

원인 하드웨어 고장

구성 요소 데이터베이스클라우드 블록 스토리지
기여 요인 단일 장애점
촉발
외부 클라우드 제공자가 준 노드에 하드웨어 문제가 생겨 2022년 5월 23일 08:30 AM UTC 에 상태 검사에 실패했다.

감지

데이터베이스가 시작 도중 한 상태에서 15분 이상 넘어가지 못하면 울리는 알림이 08:57 AM UTC 에 당번 엔지니어를 자동으로 호출했다. 장애가 시작되고 27분 뒤였다.

조치

후속 조치

교훈

Render 는 하드웨어 문제가 드물지만 언젠가는 일어나는 일이라고 봤다. 그래서 대책을 탐지를 앞당기고 복구 시간을 줄이는 데 맞췄다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스, 클라우드 블록 스토리지. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.