IL-0346 Render · 2025-11-05networking

Oregon 리전의 웹 서비스와 정적 사이트가 간헐적으로 404 응답을 냈다

Render 의 라우팅 서비스는 트래픽을 보낼 사용자 서비스의 정보를 메타데이터 서비스에서 받는다. 라우팅 서비스는 처음 시작할 때와 가끔 다시 연결할 때 메타데이터 서비스에서 많은 양의 데이터를 받는다. Render 는 2025년 초 두 서비스 사이의 데이터 전송에 드는 메모리를 줄이는 최적화를 기능 플래그로 켜고 끌 수 있게 해서 배포했다. 10월 말에는 코드에서 플래그를 지우고 다시 배포했지만, 아직 플래그에 기대던 메타데이터 서비스는 다시 배포하지 않았다.

11월 5일, 코드가 더는 참조하지 않는 기능 플래그를 정리하자 메타데이터 서비스가 옛 전송 방식으로 돌아가 메모리가 바닥나고 죽었다. 라우팅 서비스는 메타데이터 서비스가 멈춰도 마지막으로 알던 상태로 트래픽을 계속 처리하도록 설계돼 있었다. 그런데 초기 상태를 받지 못한 새 인스턴스에도 요청이 잘못 보내졌고, 이 인스턴스들이 404 를 냈다. 첫 구간에는 클러스터 두 곳에서 메타데이터 서비스가 죽고 있었고 라우팅 서비스 인스턴스 중 일부만 영향을 받았다. 두 번째 구간에는 영향을 받은 클러스터의 서비스로 가는 HTTP 요청이 크게 늘어 라우팅 서비스가 스케일 업했고, 새로 뜬 인스턴스는 모두 404 를 냈다.

Render 는 메타데이터 서비스의 메모리를 늘리고, 기능 플래그를 잠시 다시 켜 효율적인 전송 방식을 되살렸으며, 메타데이터 서비스가 플래그 없이 동작하도록 다시 배포했다. 상태 페이지에는 19:19 UTC 에 조사를 시작했다는 글이 올라갔고, 21:52 UTC 에 사고가 해결로 닫혔다.

심각도: –
영향 범위: Web services and static sites in two Oregon clusters returned intermittent 404 responses, about 10% of requests in one cluster in the first period and about 50% in the affected cluster in the second; newly created services got 404, updates to existing services propagated slowly, and recently deployed or waking free tier services were affected
영향 사용자: Some customers hosting web services and static sites in the Oregon region
지역: Oregon
감지까지: –
복구까지: 1h 55m

증상

Oregon 리전에 배포한 일부 웹 서비스와 정적 사이트가 간헐적으로 404 응답을 냈다. 장애 동안 이 클러스터들에 새로 만든 서비스는 모두 404 를 받았다.

영향은 두 구간으로 나뉘었다. PST 기준 오전 10시 39분부터 11시 25분까지는 클러스터 두 곳의 서비스가 조금 나빠졌고, 한 곳은 404 가 아주 적었으며 다른 한 곳은 요청의 약 10% 가 404 를 받았다. 오전 11시 59분부터 오후 12시 34분까지는 영향이 더 커져, 영향을 받은 클러스터의 서비스로 가는 전체 요청의 약 50% 가 404 를 받았다.

기존 서비스의 변경 사항은 반영되는 데 오래 걸렸다. 최근에 배포했거나 잠자기 상태에서 깨어나던 무료 등급 서비스도 영향을 받았다.

증상 오류율 상승