사례3건

3건 중 1~3번째

1. IL-0560 PubNub US East PoP 의 한 가용 영역에서 일부 메시지가 오류 없이 엉뚱한 곳으로 라우팅돼 구독자에게 바로 전달되지 않았다

   PubNub2026

   증상

   2026년 8월 25일 화요일 12시 10분 UTC에 내부 모니터링이 PubNub US East PoP 의 한 가용 영역에서 아주 적은 수의 메시지가 같은 리전의 구독자에게 바로 전달되지 않았을 수 있다는 알림을 냈다.

   요청 오라우팅데이터 저장소 읽기 불일치

   촉발

   계획된 내부 부하 테스트 중에 내부 라우팅 서버 한 묶음을 서비스에서 뺐다.

   원인

   설정 변경

   구성 요소

   서비스 디스커버리

   기여 요인

   –

   감지

   12시 10분 UTC에 내부 모니터링이 알림을 냈다. 장애를 줄인 뒤 합성 모니터링이 정상으로 돌아왔고 놓친 메시지가 더는 잡히지 않았다.

   조치

   • 영향받은 서버를 찾아 롤링 재시작으로 낡은 라우팅 주소를 지웠다. 13시 25분에 낡은 주소가 모두 정리됐다.

   후속 조치

   • 낡은 내부 라우팅 주소를 제대로 회수하는 수정을 2026년 8월 25일 22시 UTC에 전 세계의 모든 게시 서버에 배포했다.

   사례 보기
2. IL-0559 AWS 의 IAD 리전 장애 때 PubNub 의 기존 연결이 오래 저하됐고 US-West 로 몰린 부하가 두 번째 저하를 일으켰다

   PubNub2025

   증상

   2025년 10월 20일 07시 6분 UTC에 모니터링 시스템이 IAD 리전, 즉 US-East 의 여러 PubNub 서비스에서 오류가 늘었다는 알림을 냈다. 일부 고객은 오류율과 지연이 오르는 것을 겪었다.

   오류율 상승지연 시간 증가

   촉발

   IAD 리전에서 클라우드 사업자인 AWS 에 광범위한 인프라 장애가 났다.

   원인

   클라우드 제공자 장애

   구성 요소

   –

   기여 요인

   런북 부재순환 의존여유 용량 부재

   감지

   07시 6분 UTC에 모니터링 시스템이 IAD 리전의 여러 서비스에서 오류가 늘었다는 알림을 냈다.

   조치

   • 리전 장애 조치 절차를 시작해 새 연결을 다른 리전으로 돌렸다.
   • 이미 맺어진 연결을 손으로 초기화했다.
   • Presence 트래픽을 EU-Central 의 Frankfurt 로 돌렸다.
   • 다른 리전에 인프라를 더 띄워 옮겨 온 트래픽을 받아 냈다.
   • US-West 에 두 번째 저하가 오자 US-East 리전을 다시 떼어 냈다.
   • US-West 의 로드 밸런서 용량을 늘렸다.
   • 사업자가 복구를 알린 뒤 US-East 의 안정을 확인하고 23시 48분까지 트래픽 재분배를 마쳤다.

   후속 조치

   • 모든 운영 서비스의 리전 장애 조치 절차를 한곳에 모아, 바로 찾아 쓸 수 있고 빠진 단계가 없게 한다.
   • 새 서비스의 절차 문서에 빠진 곳을 메워, 운영에 완전히 들이기 전에 장애 조치 준비를 마친다.
   • 장애 중 복구를 어렵게 한 인벤토리 도구와 DNS 이름 해석 문제를 포함해 내부 도구의 문제를 살펴 고친다.

   사례 보기
3. IL-0558 새 인스턴스 유형이 네트워크 연결 한도에 걸려 PubNub FRA 리전의 Pub/Sub, History, Presence 에서 간헐적으로 오류와 지연이 늘었다

   PubNub2025

   증상

   2025년 6월 27일 금요일 08시 15분 UTC쯤부터 PubNub 유럽 리전의 Pub/Sub, History, Presence 세 서비스에서 지연과 서버 오류가 간헐적으로 늘었다.

   지연 시간 증가오류율 상승

   촉발

   여러 리전에서 클라우드 서버 용량을 더 확보하려고 PubNub 이 시스템에 새 인스턴스 유형들을 들였다.

   원인

   용량 한계

   구성 요소

   클라우드 로드 밸런서

   기여 요인

   부분 배포미검증 가정모니터링 사각지대

   조치

   • 영향받은 서비스가 다른 인스턴스 유형에서 돌도록 설정했다.
   • 용량을 더 띄웠다.

   후속 조치

   • 새 인스턴스 유형들이 OS 임계값과 한도를 보여 주는 지표를 내도록 바꿨다. 이제 인스턴스 유형과 상관없이 한도에 가까워지거나 넘는 것을 알아챌 수 있다.
   • 이 지표로 미리 확장하고, 인스턴스 유형에 맞게 트래픽을 제대로 라우팅한다.

   사례 보기

원인별3