IL-0345 Render · 2020-12-06networking

Render Oregon 리전의 많은 서비스가 4시간 동안 503 오류를 평소보다 많이 냈다

2020년 12월 6일 13:34 PST, Render 의 Oregon 리전에 올라간 고객 API 하나가 들어온 요청을 타임아웃이 날 때까지 붙잡기 시작했다. Render 플랫폼에서 HTTP 요청을 나누는 로드 밸런싱 알고리즘은 이런 고장이 나면 고장 난 서비스로 가는 트래픽을 거부하도록 만들어져 있다. 그래야 TCP 연결이 바닥나 같은 로드 밸런서의 다른 서비스까지 영향을 받는 일을 막을 수 있다. 그런데 이 서비스는 Oregon 리전에서 요청을 가장 많이 받는 축에 들었다. 이 서비스의 고장이 로드 밸런싱 알고리즘의 버그를 드러냈고, 다른 서비스로 가는 요청까지 간헐적으로 503 으로 거부됐다. 모니터링이 바로 문제를 알렸고, 팀은 원인을 찾아 고칠 때까지 영향을 줄이는 조치를 했다. 한때 문제가 풀린 것처럼 보였다가 오류율이 다시 오르기도 했다. 장애는 17:33 PST 에 끝났다. 상태 페이지에는 01:53 UTC 에 수정을 적용하고 결과를 지켜본다는 공지가 올라왔다. Render 는 같은 장애를 막는 수정을 모든 로드 밸런서에 내보냈다.

심각도: –
영향 범위: many Render services in the Oregon region and the Render Dashboard
영향 사용자: –
지역: Oregon
감지까지: –
복구까지: 3h 59m

증상

2020년 12월 6일 13:34 PST 부터 Render 의 Oregon 리전에서 많은 서비스가 높은 비율로 503 Service Unavailable 응답을 냈다. 모니터링 시스템이 바로 문제를 알렸다.

상태 페이지는 21:57 UTC 에 조사를 시작했다고 알렸고, 23:40 UTC 에는 상위 로드 밸런서 일부가 나머지 인프라에 연결하는 데 문제가 있다고 밝혔다. 23:58 UTC 에 그 문제를 풀어 연결 문제가 사라진 것으로 보였지만, 00:59 UTC 에 연결 오류율이 다시 올랐다.

요청이 실패하는 서비스는 장애를 일으킨 고객 API 하나에 그치지 않았다. 같은 로드 밸런서를 거치는 다른 서비스들로 가는 요청도 간헐적으로 503 으로 거부됐다.

증상 오류율 상승