IL-0559 PubNub · 2025-10-20awsnetworking
AWS 의 IAD 리전 장애 때 PubNub 의 기존 연결이 오래 저하됐고 US-West 로 몰린 부하가 두 번째 저하를 일으켰다
2025년 10월 20일 07시 6분 UTC에 PubNub 모니터링이 IAD 리전, 즉 US-East 의 여러 서비스에서 오류가 늘었다고 알렸다. PubNub 은 원인이 이 리전에서 AWS 에 난 광범위한 인프라 장애라는 것을 빨리 알아냈다. 리전 장애 조치 절차를 시작해 새 연결을 다른 리전으로 돌렸다. 그러나 일부 장애 조치 과정에 정해 두지 않은 단계가 있었고 사업자 장애 때문에 일부 도구에 접근하는 것도 늦어져 일부 서비스의 기존 연결이 예상보다 오래 저하됐다. 엔지니어들은 맺어진 연결을 손으로 초기화하고, Presence 트래픽을 EU-Central 의 Frankfurt 로 돌리고, 다른 리전에 인프라를 더 띄워 트래픽을 받아 냈다. 09시 20분까지 오류가 줄었다.
같은 날 이후에 US-West 에 몰린 리전 부하가 새로운 서비스 저하를 일으켰다. 상태 페이지는 12시 40분부터 US-West 의 여러 서비스에서 지연과 오류가 늘었다고 적었다. PubNub 은 US-East 리전을 다시 떼어 내고 US-West 의 로드 밸런서 용량을 늘렸고, 13시 20분까지 서비스가 안정됐다. 사업자는 22시 35분에 서비스가 완전히 복구됐다고 알렸다. 그 뒤 PubNub 은 US-East 의 안정을 확인하고 23시 48분까지 트래픽 재분배를 마쳐 장애를 종료했다. 장애 중에는 인벤토리 도구와 DNS 이름 해석 문제 같은 내부 도구의 문제가 복구를 더 어렵게 했다.
- 심각도
- –
- 영향 범위
- Multiple PubNub services, including Publish/Subscribe, Presence and Access Manager, and the North America Points of Presence: higher error rates and latency, intermittent Presence availability
- 영향 사용자
- –
- 지역
- IAD (US-East), SJC (US-West), HND (AP-Northeast)
- 감지까지
- –
- 복구까지
- 16h 42m
증상
2025년 10월 20일 07시 6분 UTC에 모니터링 시스템이 IAD 리전, 즉 US-East 의 여러 PubNub 서비스에서 오류가 늘었다는 알림을 냈다. 일부 고객은 오류율과 지연이 오르는 것을 겪었다.
IAD, SJC, HND 리전에 걸쳐 Presence 서비스를 간헐적으로 쓸 수 없었다. SJC 는 US-West, HND 는 AP-Northeast 리전이다.
PubNub 은 새 연결을 다른 리전으로 돌렸지만 일부 서비스의 기존 연결은 예상보다 오래 저하된 채 남았다. 오류는 09시 20분까지 줄었다.
같은 날 12시 40분부터 US-West 리전의 여러 서비스에서 지연과 오류가 다시 늘었다. 상태 페이지는 그 뒤 미국의 Points of Presence 에서 지연이 조금 높을 수 있다고 알렸다. 영향은 Publish/Subscribe, Presence, Access Manager 서비스와 북아메리카 Points of Presence 에 미쳤다.
원인
원인 클라우드 제공자 장애
- 촉발
- IAD 리전에서 클라우드 사업자인 AWS 에 광범위한 인프라 장애가 났다.
감지
07시 6분 UTC에 모니터링 시스템이 IAD 리전의 여러 서비스에서 오류가 늘었다는 알림을 냈다.
조치
- 리전 장애 조치 절차를 시작해 새 연결을 다른 리전으로 돌렸다.
- 이미 맺어진 연결을 손으로 초기화했다.
- Presence 트래픽을 EU-Central 의 Frankfurt 로 돌렸다.
- 다른 리전에 인프라를 더 띄워 옮겨 온 트래픽을 받아 냈다.
- US-West 에 두 번째 저하가 오자 US-East 리전을 다시 떼어 냈다.
- US-West 의 로드 밸런서 용량을 늘렸다.
- 사업자가 복구를 알린 뒤 US-East 의 안정을 확인하고 23시 48분까지 트래픽 재분배를 마쳤다.
후속 조치
- 모든 운영 서비스의 리전 장애 조치 절차를 한곳에 모아, 바로 찾아 쓸 수 있고 빠진 단계가 없게 한다.
- 새 서비스의 절차 문서에 빠진 곳을 메워, 운영에 완전히 들이기 전에 장애 조치 준비를 마친다.
- 장애 중 복구를 어렵게 한 인벤토리 도구와 DNS 이름 해석 문제를 포함해 내부 도구의 문제를 살펴 고친다.
교훈
–
출처
- https://status.pubnub.com/incidents/4vl9wztw0cbn · official-status · 보관본
관련 사례
–
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0559
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0559/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.