사례2건

2건 중 1~2번째

1. IL-0346 Oregon 리전의 웹 서비스와 정적 사이트가 간헐적으로 404 응답을 냈다

   Render2025

   증상

   Oregon 리전에 배포한 일부 웹 서비스와 정적 사이트가 간헐적으로 404 응답을 냈다. 장애 동안 이 클러스터들에 새로 만든 서비스는 모두 404 를 받았다.

   오류율 상승

   촉발

   2025-11-05 에 코드에서 더는 참조하지 않는 기능 플래그를 시스템에서 정리했다. 이 플래그에 아직 기대던 메타데이터 서비스가 효율이 낮은 옛 데이터 전송 방식으로 돌아갔다.

   원인

   설정 변경

   구성 요소

   클라우드 로드 밸런서서비스 디스커버리

   기여 요인

   부분 배포헬스 프로브 부재자동화 증폭

   조치

   • 메타데이터 서비스가 쓸 수 있는 메모리를 늘렸다. 이 조치는 나중에 되돌렸다.
   • 라우팅 서비스와 메타데이터 서비스 사이에 효율적인 데이터 전송을 쓰도록 기능 플래그를 잠시 다시 켰다. 이 플래그는 나중에 지웠다.
   • 메타데이터 서비스가 더는 기능 플래그에 기대지 않도록 다시 배포했다.

   후속 조치

   • 메타데이터 서비스의 모니터링을 보강해 이번과 같은 방식의 장애가 나면 알림이 오게 했다.
   • 아직 서비스가 값을 읽고 있는 기능 플래그는 지울 수 없도록 기능 플래그 관리 관행을 고친다.
   • 메타데이터 서비스에서 상태를 한 번도 받아 오지 못한 라우팅 서비스 인스턴스에는 트래픽이 가지 않게 한다.

   사례 보기
2. IL-0345 Render Oregon 리전의 많은 서비스가 4시간 동안 503 오류를 평소보다 많이 냈다

   Render2020

   증상

   2020년 12월 6일 13:34 PST 부터 Render 의 Oregon 리전에서 많은 서비스가 높은 비율로 503 Service Unavailable 응답을 냈다. 모니터링 시스템이 바로 문제를 알렸다.

   오류율 상승

   촉발

   13:34 PST 에 Oregon 리전에 올라간 고객 API 하나가 들어온 요청을 붙잡고 있다가 타임아웃 오류로 끝내기 시작했다. 이 서비스는 Oregon 리전에서 요청을 가장 많이 받는 축에 들었다.

   원인

   소프트웨어 결함

   구성 요소

   클라우드 로드 밸런서

   기여 요인

   과도한 영향 범위자동 테스트 공백

   감지

   13:34 PST 에 장애가 시작되자 모니터링 시스템이 바로 Render 팀에 알렸다.

   조치

   • 이번 같은 장애를 막는 수정을 모든 로드 밸런서에 내보냈다.

   후속 조치

   • Render 의 라우팅 계층과 로드 밸런싱 계층에서 서비스끼리 더 격리하는 장치를 만든다.
   • 로드 밸런싱 코드의 테스트 범위를 넓힌다.
   • 예상하지 못한 일이 생겨도 플랫폼이 버티도록, CI 테스트 스위트에 가상의 장애 상태를 더 넣는다.
   • 카오스 엔지니어링에 다시 힘을 쏟는다.

   사례 보기

원인별2