사례1건

1건 중 1~1번째

1. IL-0351 EU 와 US 에서 Heroku 라우팅 계층을 지나는 요청이 느려지거나 실패했다

   Heroku2017

   증상

   2017-06-03 부터 06-07 사이 여러 차례, EU 와 US 의 고객 모두가 때때로 높은 지연을 겪었다. 일부 요청은 실패했고, 일부는 Heroku Routing Layer 를 지나는 데 지나치게 오래 걸렸다.

   지연 시간 증가오류율 상승부하 불균형

   원인

   DNS·네트워크 장애

   구성 요소

   DNS 서버와 레코드클라우드 로드 밸런서

   기여 요인

   미검증 가정

   조치

   • 트래픽이 많은 출처를 찾아 그 애플리케이션 소유자와 함께 요청을 더 고르게 나눴다.
   • 옛 DNS 레코드를 새로 고친 DNS 레코드로 바꿔 들어오는 트래픽이 고르게 나뉘게 했다.

   후속 조치

   • 트래픽이 고르지 않게 나뉘면 엔지니어에게 더 빨리 알림이 가도록 모니터링을 고친다.
   • 트래픽이 많거나 갑자기 몰릴 때의 영향을 줄이도록 DNS 와 로드 밸런서를 구성하는 방법을 내부 조사로 찾는다.
   • 조사 중에 찾은 DNS 구성 문제가 캐싱 Add-on 공급자에 영향을 주므로, 그 공급자들과 함께 부하가 고르게 나뉘도록 작업한다.

   사례 보기

원인별1