Incident Library

IL-0342 DigitalOcean · 2023-08-09networking

DigitalOcean 의 AMS3, LON1, SFO2 데이터 센터가 에지 라우터 고장으로 인터넷 연결을 되풀이해 잃었다

2023년 8월 9일 09:55 UTC 부터 AMS3, LON1, SFO2 데이터 센터가 인터넷 연결을 잃었다. 원인은 일부 에지 라우터가 쓰던 운영체제 소프트웨어 버전의 버그였다. 이 버전의 라우터는 RPKI 관련 라우팅 갱신을 받으면 라우팅 프로세스가 죽을 수 있었다. 사이트마다 여러 장비로 인터넷에 이중화돼 있었지만 모든 장비가 버그가 있는 버전을 쓰고 있어서, 버그가 터지자 인터넷 연결 전체가 영향을 받았다. 라우팅 프로세스는 스스로 재시작했지만 전체 라우팅 테이블을 다시 처리하는 데 몇 분이 걸려, 끊길 때마다 10~15분씩 이어졌다. 끊김은 한 시간쯤 간격으로 세 번 왔고, 마지막 끊김은 12:15 UTC 쯤이었다.

장비 업체의 조사 뒤 DigitalOcean 은 문제의 버전을 쓰는 에지 라우터에 소프트웨어 업데이트를 내보냈다. 안정을 되찾는 데 집중한 긴급 업그레이드였다. 회선에서 트래픽을 빼고 에지 라우터가 인터넷에 다시 붙는 동안 1~2시간에 걸쳐 연결 문제가 더 났다. AMS3 는 12:27, LON1 은 13:29, SFO2 는 14:23 에 업그레이드를 마치고 안정됐다. 같은 시간대에 AMS3 와 FRA1 사이 경로의 혼잡도 이 장애로 나빠졌고, 팀은 트래픽을 다시 나눠 성능을 되살렸다. DigitalOcean 은 14:23 UTC 에 문제를 완전히 해결하고 모든 데이터 센터의 네트워크가 안정됐다고 선언했다. 장애 전환에 대비해 이중화 장비에도 같은 수정을 내보냈다.

심각도
–
영향 범위
Internet access for the AMS3, LON1 and SFO2 datacenters: Droplets and Droplet-based services such as Load Balancers, Kubernetes and Database clusters, and event processing on them; latency and connectivity errors on routes between AMS3 and FRA1
영향 사용자
–
지역
AMS3, LON1, SFO2
감지까지
1m
복구까지
4h 28m

증상

2023년 8월 9일 09:55 UTC 부터 DigitalOcean 의 AMS3, LON1, SFO2 데이터 센터가 인터넷 연결을 잃었다. 끊김은 세 차례 일어났다. 한 번에 10~15분씩 이어졌고, 끊김 사이의 간격은 한 시간쯤이었다.

09:56 에 엔지니어링 팀이 여러 리전의 네트워킹 문제를 조사하기 시작했다.

상태 페이지 타임라인에서 LON1 은 09:55~10:11 과 11:05~11:15 에 인터넷 연결이 완전히 끊겼고, 12:13~12:21 에는 고객 트래픽의 90% 가 영향을 받았다. SFO2 는 09:55~10:11, 11:48~12:27, 12:41~12:51 에 완전히 끊겼고, 11:02~11:14 에는 고객 트래픽의 50% 까지 영향을 받았다. AMS3 는 09:50 부터 12:27 사이 네 번에 걸쳐 고객 트래픽의 40~50% 가 끊기는 부분 장애를 겪었다.

사용자는 Droplet 과 로드 밸런서, Kubernetes, 데이터베이스 클러스터처럼 Droplet 위에서 도는 서비스의 자원을 다룰 때 연결 문제, 지연, 타임아웃 오류를 겪었다. 생성, 삭제, 전원 끄고 켜기, 스냅샷 같은 이벤트 처리도 늦어지거나 오류가 났다.

10:58 에 문제가 완화됐다고 알렸지만 11:00 UTC 부터 같은 문제가 다시 나타났다. 라우팅 프로세스는 스스로 재시작했지만 전체 라우팅 테이블을 다시 처리하고 갱신하는 데 몇 분이 걸려, 끊길 때마다 10~15분씩 이어졌다.

AMS3 와 FRA1 사이 네트워크 경로에도 혼잡이 생겨, 두 리전에 서비스를 둔 사용자와 LON1 을 포함해 두 리전 사이 경로를 지나는 트래픽이 지연과 연결 오류를 겪었다. DigitalOcean 은 이 혼잡이 근본 원인과는 별개지만 이번 장애로 더 나빠졌다고 했다.

긴급 업그레이드 중에도 회선에서 트래픽을 빼고 에지 라우터가 인터넷에 다시 붙는 동안 연결 문제가 더 났다. LON1 은 12:43~12:46 에 트래픽이 다시 수렴하며 조금 손실됐고 12:52~12:57 에 고객 트래픽의 40% 까지 끊겼다. SFO2 는 14:21~14:23 에 고객 트래픽의 50% 까지 끊겼다.

증상 네트워크 도달 불가간헐적 타임아웃지연 시간 증가

원인

원인 소프트웨어 결함

구성 요소 BGP 라우팅
기여 요인 과도한 영향 범위수동 조치 악화
촉발
에지 라우터가 RPKI 관련 라우팅 갱신을 받으면서, 일부 에지 라우터에서 돌던 운영체제 소프트웨어 버전의 버그가 라우팅 프로세스를 죽였다.

감지

–

조치

후속 조치

교훈

–

출처

참고 문서

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: BGP 라우팅. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.