사례1건

1건 중 1~1번째

1. IL-0559 AWS 의 IAD 리전 장애 때 PubNub 의 기존 연결이 오래 저하됐고 US-West 로 몰린 부하가 두 번째 저하를 일으켰다

   PubNub2025

   증상

   2025년 10월 20일 07시 6분 UTC에 모니터링 시스템이 IAD 리전, 즉 US-East 의 여러 PubNub 서비스에서 오류가 늘었다는 알림을 냈다. 일부 고객은 오류율과 지연이 오르는 것을 겪었다.

   오류율 상승지연 시간 증가

   촉발

   IAD 리전에서 클라우드 사업자인 AWS 에 광범위한 인프라 장애가 났다.

   원인

   클라우드 제공자 장애

   구성 요소

   –

   기여 요인

   런북 부재순환 의존여유 용량 부재

   감지

   07시 6분 UTC에 모니터링 시스템이 IAD 리전의 여러 서비스에서 오류가 늘었다는 알림을 냈다.

   조치

   • 리전 장애 조치 절차를 시작해 새 연결을 다른 리전으로 돌렸다.
   • 이미 맺어진 연결을 손으로 초기화했다.
   • Presence 트래픽을 EU-Central 의 Frankfurt 로 돌렸다.
   • 다른 리전에 인프라를 더 띄워 옮겨 온 트래픽을 받아 냈다.
   • US-West 에 두 번째 저하가 오자 US-East 리전을 다시 떼어 냈다.
   • US-West 의 로드 밸런서 용량을 늘렸다.
   • 사업자가 복구를 알린 뒤 US-East 의 안정을 확인하고 23시 48분까지 트래픽 재분배를 마쳤다.

   후속 조치

   • 모든 운영 서비스의 리전 장애 조치 절차를 한곳에 모아, 바로 찾아 쓸 수 있고 빠진 단계가 없게 한다.
   • 새 서비스의 절차 문서에 빠진 곳을 메워, 운영에 완전히 들이기 전에 장애 조치 준비를 마친다.
   • 장애 중 복구를 어렵게 한 인벤토리 도구와 DNS 이름 해석 문제를 포함해 내부 도구의 문제를 살펴 고친다.

   사례 보기

원인별1