사례1건

1건 중 1~1번째

1. IL-0492 AWS 연결 문제로 느려진 연결이 연결 한도를 다 차지해 AWS 밖에 있는 Hosted Graphite 로드 밸런서에 새 연결이 붙지 못했다

   Hosted Graphite2018

   증상

   금요일 밤 23:28 UTC에 모니터링이 웹사이트가 간헐적으로 응답하지 않는다고 알렸다. 웹사이트와 그래프 렌더링 API를 주기적으로 확인하는 검사가 타임아웃됐다.

   간헐적 타임아웃간헐적 연결 실패

   촉발

   AWS의 us-east1과 us-west2 리전에서 연결 문제가 생겨, 그 리전의 AWS 호스트가 Hosted Graphite 로드 밸런서에 맺은 연결이 끊기지는 않은 채 크게 느려졌다.

   원인

   용량 한계

   구성 요소

   온프레미스 로드 밸런서

   기여 요인

   순환 의존

   감지

   23:28 UTC에 웹사이트와 그래프 렌더링 API를 주기적으로 확인하는 모니터링 검사가 타임아웃되며 알렸다. 내부와 외부 카나리로 영향받은 수집 경로를 가렸다.

   후속 조치

   • 클라이언트 타임아웃을 더 엄격하게 적용한다.
   • 로드 밸런서의 연결 한도를 높인다.
   • 로드 밸런서 로그로 만든 활성 연결 수와 ISP별 요청 시간 히트맵을 SRE 팀과 지원 팀이 로드 밸런싱 계층 문제를 살필 때 늘 쓰는 도구로 삼았다.

   교훈

   분산 시스템에서는 한 서비스의 장애가 다른 서비스에 어떻게 영향을 줄지 알기 어렵다. 이번에는 직접으로도 간접으로도 쓰지 않는 사업자의 장애가 AWS 밖에 있는 서비스를 멈췄다. 연결을 끊지는 않고 느리게 만드는 네트워크 문제만으로도 느린 클라이언트가 로드 밸런서의 연결 한도를 다 차지해 다른 모든 클라이언트를 막을 수 있다. 로드 밸런서 로그를 충분히 남겨 두었기 때문에 활성 연결 수와 ISP별 요청 시간을 시각화해 원인을 밝힐 수 있었다.

   사례 보기

원인별1