Incident Library

IL-0358 Packet · 2019-06-02networking

Packet 공용 클라우드의 여러 리전에서 라우팅 루프와 블랙홀로 연결이 간헐적으로 끊겼다

2019-06-02 08:49 UTC 에 Packet 의 내부 네트워크 모니터링이 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제와 성능 문제를 알렸다. 첫 조사에서 특정 내부 목적지와 인터넷 목적지로 가는 트래픽의 라우팅 루프와 블랙홀이 보였고, 10:13 에 라우팅 문제를 찾았다. 12:10 에 네트워크 엔지니어들은 이것이 상위 네트워크 사업자 Zayo 의 큰 장애 때문임을 확인했다. Zayo 에 따르면 미국 대륙 횡단 백본 링크 하나가 하드웨어 고장을 일으켜 그 링크로 가는 IP 트래픽을 블랙홀로 보냈다. 문제 링크를 서비스에서 뺀 뒤에도 Zayo 네트워크에 남은 제어 플레인 문제와 낡은 경로 때문에 트래픽이 계속 블랙홀로 사라졌고, 그래서 복구가 크게 늦어졌다.

Packet 네트워크 엔지니어링 팀은 트래픽을 다른 네트워크로 옮겨 Zayo 를 상위 사업자 구성에서 빼고, 알맞은 경로 필터를 적용했다. 12:10 부터 트래픽이 다른 경로로 가며 연결이 돌아오기 시작했고, 13:32 에 수정을 적용한 뒤 결과를 지켜봤다. 그 뒤 바뀐 트래픽 구성에서 백본 지연을 줄이도록 특정 라우팅 정책을 다듬었다. 15:22 에 모든 서비스가 정상으로 돌아와 사고를 해결로 닫았다. 그동안 NRT1 과 SJC1 에서는 프로비저닝과 디프로비저닝도 영향을 받았다. Zayo 를 뺀 뒤에도 Zayo 를 쓰는 일부 대형 브로드밴드 네트워크와 셀룰러 네트워크는 연결이 나빴다.

심각도
–
영향 범위
Intermittent loss of connectivity and degraded routing for Packet Public Cloud locations, affecting traffic between specific source and destination address pairs, especially from US datacenters to broadband ISPs; provisioning and deprovisioning in NRT1 and SJC1
영향 사용자
–
지역
Global Cloud Locations
감지까지
0m
복구까지
6h 33m

증상

2019-06-02 08:49 UTC 에 Packet 의 내부 네트워크 모니터링이 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제와 성능 문제를 알렸다. 엔지니어들은 08:52 에 이 연결 문제를 확인했다.

첫 조사에서 특정 내부 목적지와 인터넷 목적지로 가는 트래픽이 라우팅 루프에 빠지거나 블랙홀로 사라지는 것이 보였다. 피해는 무작위로 정해진 특정 출발지 IP 와 목적지 IP 쌍 사이의 트래픽에만 났고 다른 고객 트래픽은 멀쩡했다. 서버 인터페이스 연결은 영향을 받지 않았다.

고객은 처음에 특정 리전에서 상위 회선 연결이 잠깐 끊기는 일을 겪었다. 그 뒤 사고 내내 트래픽이 지연이 높은 나쁜 경로로 갔고, 일부 경로는 아예 닿지 않았다. Packet 의 미국 데이터센터에서 브로드밴드 ISP 로 가는 트래픽이 특히 크게 나빠졌다.

09:18 에 엔지니어들은 NRT1 가용 영역의 프로비저닝 영향을 조사하기 시작했고, 10:11 에 SJC1 의 장비 프로비저닝도 영향을 받는 것을 알았다. 상태 페이지에는 NRT1 과 SJC1 데이터센터의 프로비저닝과 디프로비저닝 문제를 조사 중이라는 글이 올라갔다.

Packet 이 Zayo 를 상위 사업자 구성에서 완전히 뺀 뒤에도, Zayo 의 상품과 서비스에 기대는 일부 대형 브로드밴드 네트워크와 셀룰러 네트워크는 Packet 과 다른 목적지로의 연결이 계속 나빴다.

증상 네트워크 도달 불가패킷 손실지연 시간 증가

원인

원인 의존성 장애

구성 요소 백본망BGP 라우팅네트워크 컨트롤 플레인
기여 요인 –
촉발
Packet 의 상위 네트워크 사업자 Zayo 의 미국 대륙 횡단 백본 링크에 하드웨어 고장이 나서, 그 링크로 라우팅된 IP 트래픽이 블랙홀로 사라졌다.

감지

08:49 UTC 에 모니터링 도구가 Packet 의 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제를 알렸다. 08:52 에 엔지니어링 팀이 문제를 확인하고 내부 사고를 만들어 운영 인력과 플랫폼 엔지니어링, 네트워크 엔지니어링의 에스컬레이션 담당자를 불렀다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 백본망, BGP 라우팅, 네트워크 컨트롤 플레인. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.