Incident Library

IL-0259 Fastmail · 2023-06-30networking

Fastmail 에서 나가는 패킷이 인터넷 일부에 닿지 않아 고객 3~5% 가 약 19시간 동안 Fastmail 을 쓰지 못했다

Fastmail 은 몇 년 전 New York Internet 의 Manhattan 데이터센터에서 New Jersey 주 Bridgewater 데이터센터로 옮겼고, 이 데이터센터는 나중에 365 Datacenters 에 팔렸다. Fastmail 이 쓰는 IP 대역 66.111.4.0/24 는 아직 원래 NYI 의 것이라 빌려 쓰고 있고, 이 때문에 라우팅이 복잡해졌다. Fastmail 은 지난 1년 동안 새 IP 대역으로 옮기며 두 네트워크를 함께 운영해 왔다. 들어오는 트래픽은 DDoS 방어를 위해 모두 Cloudflare 의 MagicTransit 을 거치고, Cloudflare 를 거친 트래픽은 365 가 관리하는 네트워크의 IP 나 Megaport 의 사설 가상 회선을 통해 Fastmail 네트워크로 들어온다. 평소에는 조금 더 빠른 Megaport 를 먼저 쓴다.

6월 30일 03:00 UTC 무렵부터 22:00 UTC 무렵까지 19시간 동안 Fastmail 과 인터넷 일부가 서로 전혀 통신하지 못했다. 들어오는 패킷은 Megaport 로 잘 들어왔지만 나가는 패킷이 목적지에 닿지 못했다. 나가는 트래픽의 경로가 하나뿐이어서 Fastmail 이 스스로 고칠 수 없었다. Fastmail 은 서버 지표를 비슷한 날과 비교해 고객의 3~5% 가 영향을 받은 것으로 추정했다. 일부 메일 서버로는 메일을 보내지도 못했다. Fastmail 은 근본 원인이 지금은 고쳐졌다고 확신한다.

심각도
–
영향 범위
All Fastmail services, including mail delivery, between Fastmail and the affected networks: Fastmail entirely offline for users on them, delayed email, some mail fetches disabled, and no outgoing email to part of the internet
영향 사용자
An estimated 3-5% of Fastmail customers, and some email servers
지역
A fraction of the internet
감지까지
–
복구까지
19h

증상

2023년 6월 30일 03:00 UTC 무렵부터 Fastmail 과 인터넷 일부가 서로 통신하지 못했다. 문제는 약 19시간 이어졌고, 고객의 3~5% 로 추정되는 사용자와 일부 메일 서버가 영향을 받았다.

Fastmail 은 고객들이 지원 티켓과 소셜 미디어로 알려 와서 처음 알았다. 문제가 있는 네트워크를 쓰는 고객에게는 Fastmail 이 완전히 끊긴 상태였다. 메일도 늦게 왔고, 일부 메일 가져오기 기능이 꺼졌다.

Fastmail 이 세계 여러 곳에 둔 모니터링 장비와 직원들은 문제가 있는 네트워크에 있지 않아서 증상을 보지 못했다. 어떤 고객은 휴대폰으로는 되는데 집 네트워크로는 안 된다고 했고, 반대인 고객도 있었다. VPN 을 써서 서버로 가는 다른 경로를 찾은 사용자도 있었다.

Fastmail 은 실패하는 경로를 직접 볼 수 없어서, 그 네트워크에 있는 고객이 보내 준 traceroute 결과에 기댔다. 그 결과에서 얻은 주소로 Fastmail 쪽에서 거꾸로 경로를 따라가 트래픽이 어디서 버려지는지 찾았다.

들어오는 트래픽을 받는 Megaport 연결은 장애 내내 살아 있어 패킷이 Fastmail 네트워크로 잘 들어왔다. Fastmail 에서 나가는 패킷이 모두 목적지에 닿지 못한 것이 문제였다. Fastmail 은 인터넷 일부에 메일을 보내지도 못했다.

증상 네트워크 도달 불가

원인

원인 의존성 장애

구성 요소 ISP·트랜짓 망
기여 요인 단일 장애점모니터링 사각지대
촉발
–

감지

고객들이 지원 티켓과 소셜 미디어로 알려 와서 처음 알았다. 세계 여러 곳에 둔 모니터링 장비도, 직원들도 문제가 있는 네트워크에 있지 않아 장애를 보지 못했다.

조치

–

후속 조치

교훈

나가는 트래픽의 경로가 하나뿐이어서 Fastmail 은 공급사 네트워크의 문제를 피해 갈 수 없었고 스스로 고칠 수도 없었다. 나가는 경로를 여러 개 중에서 고를 수 있으면 모든 사용자를 더 빨리 다시 접속하게 할 수 있다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: ISP·트랜짓 망. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.