사례16건

16건 중 15~16번째

1. IL-0358 Packet 공용 클라우드의 여러 리전에서 라우팅 루프와 블랙홀로 연결이 간헐적으로 끊겼다

   Packet2019

   증상

   2019-06-02 08:49 UTC 에 Packet 의 내부 네트워크 모니터링이 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제와 성능 문제를 알렸다. 엔지니어들은 08:52 에 이 연결 문제를 확인했다.

   네트워크 도달 불가패킷 손실지연 시간 증가

   촉발

   Packet 의 상위 네트워크 사업자 Zayo 의 미국 대륙 횡단 백본 링크에 하드웨어 고장이 나서, 그 링크로 라우팅된 IP 트래픽이 블랙홀로 사라졌다.

   원인

   의존성 장애

   구성 요소

   백본망BGP 라우팅네트워크 컨트롤 플레인

   기여 요인

   –

   감지

   08:49 UTC 에 모니터링 도구가 Packet 의 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제를 알렸다. 08:52 에 엔지니어링 팀이 문제를 확인하고 내부 사고를 만들어 운영 인력과 플랫폼 엔지니어링, 네트워크 엔지니어링의 에스컬레이션 담당자를 불렀다.

   조치

   • 트래픽을 다른 네트워크로 옮겨 Zayo 를 상위 사업자 구성에서 뺐다.
   • 알맞은 경로 필터를 적용해 서비스를 정상으로 되돌렸다.
   • 바뀐 트래픽 구성에 맞춰 특정 라우팅 정책을 다듬어 백본 전반의 지연을 줄였다.

   후속 조치

   • 내부 연결 모니터링을 넓히고, 당직 운영팀에게 가는 알림을 늘린다.
   • 네트워크 자동화와 라우팅 프로토콜 구현을 넓혀 쓸 수 있는 모든 백본 경로로 더 잘 라우팅하고 부하를 나눈다. 큰 사업자 사고가 나면 운영자가 Packet 의 모든 데이터센터에 걸쳐 자동 트래픽 우회를 실행할 수 있게 한다.
   • Packet 의 프로비저닝 시스템과 서비스가 외부 네트워크 사업자와 데이터센터 사이 연결에 덜 의존하게 해서 복원력을 높인다.

   사례 보기
2. IL-0258 DDoS 방어 업체에서 데이터센터로 가는 GRE 터널이 끊겨 FastMail 이 두 시간 가까이 접속되지 않았다

   Fastmail2016

   증상

   멜버른 시간 2016년 2월 7일 일요일 오전 4시 50분, UTC 로는 2월 6일 오후 6시 무렵 Level 3 와 NYI 사이의 GRE 터널이 끊겼다. FastMail 로 오는 트래픽이 FastMail 네트워크에 전혀 들어오지 못해 고객은 서비스를 쓸 수 없었다.

   서비스 중단네트워크 도달 불가

   촉발

   멜버른 시간 2016년 2월 7일 오전 4시 50분에 DDoS 방어를 맡은 Level 3 와 주 데이터센터 NYI 사이의 GRE 터널이 끊겼다.

   원인

   의존성 장애

   구성 요소

   DDoS 방어 서비스BGP 라우팅

   기여 요인

   디버그 접근 제한

   감지

   데이터센터 업체 NYI 가 장애를 금방 알아챘다.

   조치

   • NYI 가 Level 3 지원 창구에 계속 상급자 대응을 요청해, FastMail 의 공인 IP 대역이 다시 NYI 를 가리키게 했다.

   후속 조치

   • DDoS 방어를 예전 방식으로 되돌려, NYI 가 직접 통제하는 가운데 Black Lotus 가 방어를 맡는다.
   • Los Angeles 데이터센터에 보조 네트워크로 NYI 의 애플리케이션·메일 서버와 통신하는 nginx 프런트엔드를 새로 만든다. NYI 의 주 네트워크가 끊기면 DNS 로 www.fastmail.com, mail.messagingengine.com 같은 이름을 LA 프런트엔드로 돌린다.
   • Amsterdam 에 하드웨어를 늘리고, 배달 시스템이 NYI 와 덜 통신하도록 내부를 바꾼다.
   • NYI 가 네트워크 장애를 감지하고 대응하는 내부 절차를 NYI 와 함께 더 자세히 파악한다.

   교훈

   이렇게 복구가 늦어지는 것은 받아들일 수 없다. FastMail 과 NYI 가 쌓아 온 신뢰성의 큰 부분은 NYI 가 인프라를 직접 통제하는 데서 나왔다. 상시 DDoS 방어로 옮기면서 그 통제를 잃었다.

   사례 보기

원인별6