사례2건

2건 중 1~2번째

1. IL-0352 Router 2.0 을 쓰는 앱에서 HTTP 요청이 web dyno 에 고르지 않게 나뉘어 지연과 타임아웃이 늘었다

   Heroku2025

   증상

   Heroku Common Runtime 에서 Router 2.0 을 쓰는 일부 앱의 HTTP 요청이 web dyno 사이에 고르게 나뉘지 않았다. 요청이 몰린 dyno 가 과부하에 빠지면서 HTTP 요청 지연과 타임아웃이 늘었다.

   부하 불균형지연 시간 증가간헐적 타임아웃

   촉발

   2025-07-18 22:00 UTC 무렵부터 Router 2.0 인스턴스가 어떤 코드 조건에 닿기 시작했다. 이 조건에 닿으면 부하 분산용 엔트로피 메타데이터와 그 로직이 dyno 선택의 폭을 줄였다.

   원인

   소프트웨어 결함

   구성 요소

   클라우드 로드 밸런서

   기여 요인

   모니터링 사각지대스테이징 불일치

   감지

   07-20 16:46 UTC 에 Heroku Support 가 요청이 dyno 에 고르지 않게 가서 지연과 타임아웃이 늘었다는 첫 고객 신고를 받았다. 스테이징 부하 테스트에도 같은 불균형이 있었지만, 알림은 라우팅 가용성과 HTTP 요청 지연만 보고 요청 분배는 보지 않아 울리지 않았다.

   조치

   • 지원 팀이 영향을 받은 고객에게 Router 2.0 을 끄고 legacy router 로 돌아가라고 안내했다.
   • 운영 라우터 인스턴스를 차례로 새로 띄워 영향을 받은 앱의 부하 분산을 나아지게 했다.
   • 부하 분산을 고친 라우터 코드를 스테이징에 먼저 배포한 뒤 운영에 단계적으로 배포해 07-23 00:12 UTC 에 마지막 파티션까지 마쳤다.

   후속 조치

   • 부하 분산 동작이 다시 망가지지 않도록 막는 게이트와 알림을 넣었다.
   • 자동 이전을 다시 시작하기 전에, 아직 legacy router 를 쓰는 앱의 고객에게 일정과 안내를 꾸준히 알린다.

   사례 보기
2. IL-0558 새 인스턴스 유형이 네트워크 연결 한도에 걸려 PubNub FRA 리전의 Pub/Sub, History, Presence 에서 간헐적으로 오류와 지연이 늘었다

   PubNub2025

   증상

   2025년 6월 27일 금요일 08시 15분 UTC쯤부터 PubNub 유럽 리전의 Pub/Sub, History, Presence 세 서비스에서 지연과 서버 오류가 간헐적으로 늘었다.

   지연 시간 증가오류율 상승

   촉발

   여러 리전에서 클라우드 서버 용량을 더 확보하려고 PubNub 이 시스템에 새 인스턴스 유형들을 들였다.

   원인

   용량 한계

   구성 요소

   클라우드 로드 밸런서

   기여 요인

   부분 배포미검증 가정모니터링 사각지대

   조치

   • 영향받은 서비스가 다른 인스턴스 유형에서 돌도록 설정했다.
   • 용량을 더 띄웠다.

   후속 조치

   • 새 인스턴스 유형들이 OS 임계값과 한도를 보여 주는 지표를 내도록 바꿨다. 이제 인스턴스 유형과 상관없이 한도에 가까워지거나 넘는 것을 알아챌 수 있다.
   • 이 지표로 미리 확장하고, 인스턴스 유형에 맞게 트래픽을 제대로 라우팅한다.

   사례 보기

원인별2