사례2건

2건 중 1~2번째

1. IL-0558 새 인스턴스 유형이 네트워크 연결 한도에 걸려 PubNub FRA 리전의 Pub/Sub, History, Presence 에서 간헐적으로 오류와 지연이 늘었다

   PubNub2025

   증상

   2025년 6월 27일 금요일 08시 15분 UTC쯤부터 PubNub 유럽 리전의 Pub/Sub, History, Presence 세 서비스에서 지연과 서버 오류가 간헐적으로 늘었다.

   지연 시간 증가오류율 상승

   촉발

   여러 리전에서 클라우드 서버 용량을 더 확보하려고 PubNub 이 시스템에 새 인스턴스 유형들을 들였다.

   원인

   용량 한계

   구성 요소

   클라우드 로드 밸런서

   기여 요인

   부분 배포미검증 가정모니터링 사각지대

   조치

   • 영향받은 서비스가 다른 인스턴스 유형에서 돌도록 설정했다.
   • 용량을 더 띄웠다.

   후속 조치

   • 새 인스턴스 유형들이 OS 임계값과 한도를 보여 주는 지표를 내도록 바꿨다. 이제 인스턴스 유형과 상관없이 한도에 가까워지거나 넘는 것을 알아챌 수 있다.
   • 이 지표로 미리 확장하고, 인스턴스 유형에 맞게 트래픽을 제대로 라우팅한다.

   사례 보기
2. IL-0578 HAProxy 로드 밸런서를 거치는 정적 콘텐츠 전송이 수십 초씩 늦어졌다

   GMO Pepabo2020

   증상

   운영 환경에서 정적 콘텐츠 전송이 수십 초 단위로 늦어졌다.

   지연 시간 증가

   원인

   용량 한계

   구성 요소

   HAProxy리눅스 커널클라우드 로드 밸런서

   기여 요인

   기본 설정 방치

   조치

   • 동료 엔지니어가 sysctl net.ipv4.tcp_mem 을 조정해 정적 콘텐츠 전송 지연을 가라앉히고 장애를 복구했다.

   교훈

   net.ipv4.tcp_mem 의 기본값은 부팅 때 RAM 크기로 정해지므로 RAM 이 작은 VM 에서는 한계가 낮게 잡힌다. tcp_mem 은 시스템 전체의 TCP 소켓에 걸리는 페이지 단위의 값이고, 소켓 하나의 버퍼 크기를 바이트 단위로 정하는 net.ipv4.tcp_rmem, net.ipv4.tcp_wmem 과는 다른 설정이다. TCP: out of memory 로그가 가리키는 TCP oom 은 프로세스를 SIGKILL 로 끝내는 OOM Killer 와 관계가 없다. TCP oom 로그가 나왔을 때는 송수신 제한도 함께 일어나고 있다. 문제를 찾거나 감시할 때는 /proc/net/sockstat 의 TCP mem, /proc/net/protocols 의 press, /proc/net/netstat 의 TCPMemoryPressures, TCPMemoryPressuresChrono, TCPAbortOnMemory, OfoPruned, PruneCalled, TCPRcvQDrop, TCPAbortFailed 를 본다.

   사례 보기

원인별1