IL-0590 Mailgun · 2014-09-27networking

Rackspace ORD 재부팅 뒤 Mailgun 연결이 간헐적으로 실패하고 이벤트 유실과 이메일 중복 발송이 났다

Mailgun 은 Rackspace 하이브리드 클라우드의 여러 데이터 센터에 환경을 두고, F5 로드 밸런서를 데이터 센터로 들어오고 나가는 모든 연결의 관문으로 쓴다. 장애나 유지 보수 때는 F5 virtual IP 풀로 트래픽을 다른 환경으로 옮겨 DNS 변경 없이 고객 영향을 피한다. 9월 26일 금요일 Rackspace 는 9월 28일 일요일 11:00 UTC 부터 9월 29일 월요일 11:00 UTC 사이에 ORD 의 클라우드 인스턴스를 재부팅한다고 알렸다. Mailgun 은 ORD 트래픽을 옮길 준비를 하다가 9월 27일 18:50 UTC 에 데이터베이스 복제와 환경 사이 내부 트래픽이 타임아웃으로 끊긴 것을 발견했다. 재부팅 전까지 원인을 찾지 못해 트래픽을 제때 옮기지 못했다.

재부팅은 9월 30일 월요일 01:10 UTC 에 시작됐고, 11:29 UTC 까지 간헐적 연결 실패와 이벤트 유실과 약 100,000건의 중복 발송이 이어졌다. Mailgun 이 Rackspace 기업 네트워크 팀과 함께 조사한 결과, 클라우드 유지 보수가 Mailgun F5 서버에 오류 상태를 일으켜 Mailgun 네트워크의 IP 에 Path MTU 를 296 으로 보고하게 만들었다. Mailgun 을 쓰는 Rackspace 전용 고객의 F5 가 모두 이 값을 캐시했다. 그 F5 뒤의 서버는 최소 512 MTU 의 패킷만 보낼 수 있었는데, Mailgun 의 F5 가 더 작은 값을 강제해 패킷이 손실됐다. Rackspace 네트워크 팀이 F5 캐시를 지우고 새 virtual IP 를 만들고, Mailgun 이 DNS 설정을 바꿔 원격 F5 의 캐시를 비우게 하자 남은 문제가 풀렸다. 근본 원인은 글을 쓸 때 아직 조사 중이었고, Mailgun 의 F5 로드 밸런서가 처음 캐시하고 강제한 비정상적으로 낮은 path MTU 값과 관련이 있다는 데까지 밝혀졌다.

심각도

–

영향 범위

Connections to Mailgun: intermittent connection failures, events lost between 2:30 a.m. and 7:00 a.m. UTC, and approximately 100,000 duplicate emails sent

영향 사용자

A portion of Mailgun customers, including Rackspace dedicated customers using Mailgun

지역

Rackspace Chicago data center (ORD); internal traffic between Mailgun's environments in all regions

감지까지

–

복구까지

–