사례2건

2건 중 1~2번째

1. IL-0560 PubNub US East PoP 의 한 가용 영역에서 일부 메시지가 오류 없이 엉뚱한 곳으로 라우팅돼 구독자에게 바로 전달되지 않았다

   PubNub2026

   증상

   2026년 8월 25일 화요일 12시 10분 UTC에 내부 모니터링이 PubNub US East PoP 의 한 가용 영역에서 아주 적은 수의 메시지가 같은 리전의 구독자에게 바로 전달되지 않았을 수 있다는 알림을 냈다.

   요청 오라우팅데이터 저장소 읽기 불일치

   촉발

   계획된 내부 부하 테스트 중에 내부 라우팅 서버 한 묶음을 서비스에서 뺐다.

   원인

   설정 변경

   구성 요소

   서비스 디스커버리

   기여 요인

   –

   감지

   12시 10분 UTC에 내부 모니터링이 알림을 냈다. 장애를 줄인 뒤 합성 모니터링이 정상으로 돌아왔고 놓친 메시지가 더는 잡히지 않았다.

   조치

   • 영향받은 서버를 찾아 롤링 재시작으로 낡은 라우팅 주소를 지웠다. 13시 25분에 낡은 주소가 모두 정리됐다.

   후속 조치

   • 낡은 내부 라우팅 주소를 제대로 회수하는 수정을 2026년 8월 25일 22시 UTC에 전 세계의 모든 게시 서버에 배포했다.

   사례 보기
2. IL-0371 PITR 을 켠 Render Postgres 데이터베이스에서 백업이 도는 동안 새 연결의 절반이 실패했다

   Render2023

   증상

   특정 시점 복구 기능인 PITR 을 켠 Render Postgres 데이터베이스에 새 연결을 맺으면, PITR 백업 작업이 도는 동안 50% 확률로 실패했다. 커넥션 풀링처럼 이미 맺어 둔 연결은 영향이 없었다.

   간헐적 연결 실패요청 오라우팅

   촉발

   Render 는 2023년 4월 21일 Point-in-time Recovery 기능을 조건이 맞는 새 데이터베이스에 내놨다. 이 기능의 백업 작업은 데이터베이스와 비슷한 네트워크 레이블로 설정되어 있었다.

   원인

   배포 결함

   구성 요소

   데이터베이스데이터베이스 백업과 스냅숏서비스 디스커버리

   기여 요인

   –

   조치

   • 영향받은 데이터베이스의 백업을 트래픽이 적은 시간에 예약할 수 있을 때까지 껐다.
   • 백업 작업의 네트워크 레이블 설정을 고쳐, 라우팅 계층이 백업 작업을 연결 대상 서비스로 잡지 않게 했다.

   후속 조치

   • 장애 업데이트를 공유하는 절차를 엄격하게 바꿔, 문제가 실제로 끝나기 전에 해결됐다고 알리지 않게 한다.
   • 데이터베이스 라우팅 계층에 더 구체적인 네트워크 레이블 설정을 둬, 연결 대상이 아닌 IP 가 서비스 설정에 들어가지 않게 한다.
   • 비동기 작업을 건너뛰었을 때 곧바로 실행하지 않고 다음 예약 시간대로 다시 예약한다.
   • 오픈소스 벤치마크 도구로 시스템을 측정하고, 고객이 알아챈 문제를 재현한다.

   사례 보기

원인별2