IL-0558 PubNub · 2025-06-27networking
새 인스턴스 유형이 네트워크 연결 한도에 걸려 PubNub FRA 리전의 Pub/Sub, History, Presence 에서 간헐적으로 오류와 지연이 늘었다
PubNub 은 여러 리전에서 클라우드 서버 용량을 더 확보하려고 서비스가 도는 인스턴스 유형을 다양하게 늘렸다. PubNub 은 서버마다 성능을 맞추려고 OS와 커널 수준 설정을 많이 만들어 두었고, 그중 네트워크 연결 한도를 정하는 설정은 명시적으로 지정해 왔다. 그러나 인스턴스 유형이 다양해지자 상위 로드 밸런서가 이 설정을 아무 표시 없이 덮어썼고, 새 인스턴스 유형들이 연결 한도에 닿았다. 2025년 6월 27일 08시 15분 UTC부터 FRA 리전의 Pub/Sub, History, Presence 에서 지연과 오류가 간헐적으로 늘었다. 처음 본 오류들이 조사를 엉뚱한 방향으로 이끌어 원인을 찾는 데 오래 걸렸고, 6월 30일에 원인을 찾은 뒤 영향받은 서비스를 다른 인스턴스 유형에서 돌게 하고 용량을 더 띄워 장애를 줄였다.
- 심각도
- –
- 영향 범위
- Pub/Sub, History and Presence in the FRA region (European Points of Presence): intermittent increases in latency and errors
- 영향 사용자
- –
- 지역
- FRA (Europe)
- 감지까지
- –
- 복구까지
- –
증상
2025년 6월 27일 금요일 08시 15분 UTC쯤부터 PubNub 유럽 리전의 Pub/Sub, History, Presence 세 서비스에서 지연과 서버 오류가 간헐적으로 늘었다.
영향은 유럽 Points of Presence 에 나타났다. 근본 원인은 6월 30일 월요일에야 찾아 바로잡았다.
처음 마주친 오류들이 조사를 엉뚱한 방향으로 이끌어서 조사가 평소보다 오래 걸렸다.
원인
원인 용량 한계
- 촉발
- 여러 리전에서 클라우드 서버 용량을 더 확보하려고 PubNub 이 시스템에 새 인스턴스 유형들을 들였다.
감지
–
조치
- 영향받은 서비스가 다른 인스턴스 유형에서 돌도록 설정했다.
- 용량을 더 띄웠다.
후속 조치
- 새 인스턴스 유형들이 OS 임계값과 한도를 보여 주는 지표를 내도록 바꿨다. 이제 인스턴스 유형과 상관없이 한도에 가까워지거나 넘는 것을 알아챌 수 있다.
- 이 지표로 미리 확장하고, 인스턴스 유형에 맞게 트래픽을 제대로 라우팅한다.
교훈
–
출처
- https://status.pubnub.com/incidents/20fn87h2hnyq · official-status · 보관본
관련 사례
같은 원인 · 공통 클라우드 로드 밸런서
IL-0333사양을 낮춘 RDS PostgreSQL 인스턴스가 피크 부하를 못 버텨 헬스 체크가 실패하고 Buildkite 대시보드가 몇 시간 동안 내려갔다Buildkite · 2016같은 원인 · 공통 클라우드 로드 밸런서
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0558
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0558/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.