Incident Library

IL-0344 Linode · 2023-02-11networking

Linode US-West 의 Fremont 와 Santa Clara 데이터 센터가 인터넷 연결과 두 사이트 사이 연결을 잃었다

Linode 의 Santa Clara 와 Fremont 데이터 센터는 지리적으로 다른 길로 놓인 이중화된 다중 광섬유 회선 한 쌍, A 쪽과 B 쪽으로 이어진다. 이 회선은 두 사이트의 보더 라우터와 코어 스위치를 이어 Linode 피어 트래픽을 나르고 사이트 사이에 인터넷 트랜짓을 나눈다. 2023년 2월 11일 17:45 UTC 에 A 쪽에서 두 보더 라우터를 잇던 링크 하나가 끊겼고, 인터넷 트래픽은 B 쪽으로 돌았다. 이런 고장은 비교적 흔해 대응 팀이 조사와 수리를 시작했다. 2월 12일 2:45 UTC 에 B 쪽 회선 전체가 끊겨 보더 라우터끼리 고립됐다. 트래픽은 A 쪽 코어 스위치 사이 링크로 흘렀지만 성능이 떨어졌다.

8:45 UTC 에 네트워크 엔지니어가 네트워크를 안정시키려고 Santa Clara 의 보더 라우터에서 인터넷 트래픽을 모두 뺐고, 이 변경으로 Santa Clara 고객의 인터넷 연결이 끊겼다. 10:13 UTC 에 변경을 되돌려 서비스를 살린 뒤 A 쪽과 B 쪽 회선 복구에 들어갔다. A 쪽 링크 고장의 원인이 보이지 않아 하드웨어 업체에 지원 건을 열었다. 업체와 함께 조사하던 중, 시스템에 영향을 주지 않는 명령 하나가 드문 버그를 건드려 A 쪽 링크가 모두 끊겼다. 두 데이터 센터 사이 연결이 완전히 잘려 두 곳 모두 서비스가 나빠지거나 멈췄다.

네트워크 엔지니어들은 버그를 피하고 연결을 살리려면 두 회선의 코드를 업그레이드해야 한다는 안내를 받고 긴급 업그레이드를 했다. 업그레이드는 16:25 UTC 에 끝나 연결이 돌아왔고, 17:29 UTC 까지 트래픽이 A 쪽 경로로 돌아왔다. B 쪽은 하드웨어 업체와 광섬유 제공자가 함께 고장 지점을 찾았다. 원인은 두 데이터 센터를 잇는 회선 중간 구간의 한 방향 광 손실이었다. 2월 14일 18:30 UTC 에 B 쪽 경로가 살아나 두 사이트 사이 이중화가 모두 돌아왔다.

심각도
–
영향 범위
Internet connectivity for customers in the Fremont and Santa Clara data centers and connectivity between the two sites; customers could not reach their Linodes and could have trouble provisioning, powering down or rebooting services
영향 사용자
–
지역
US-West (Fremont and Santa Clara)
감지까지
–
복구까지
23h 44m

증상

2023년 2월 12일 Linode US-West 리전의 고객이 자기 Linode 에 접속하지 못했다. 상태 페이지는 10:22 UTC 에 US-West 의 연결 문제 신고를 조사 중이라고 알렸고, 12:52 에 다시 연결 문제 신고가 들어왔다고 알렸다.

전날 2월 11일 17:45 UTC 에 두 데이터 센터를 잇는 A 쪽 다중 광섬유 회선의 링크 하나가 끊겼을 때는 인터넷 트래픽이 B 쪽 링크로 돌아가 고객 영향이 바로 보이지 않았다. 2월 12일 2:45 UTC 에 B 쪽 회선 전체가 끊기자 보더 라우터들이 서로 고립됐다. 고객 인터넷 트래픽은 A 쪽 코어 스위치 사이 링크로 계속 흘렀지만 네트워크 성능이 떨어졌다.

2월 12일 8:45 UTC 에 Santa Clara 의 보더 라우터에서 인터넷 트래픽을 모두 빼는 변경을 했다. 그 뒤 Santa Clara 고객의 인터넷 연결이 끊겼지만, 이 사실은 바로 드러나지 않았다. 10:13 UTC 에 변경을 되돌리자 서비스가 돌아왔다.

그 뒤 A 쪽 링크를 장비 업체와 함께 조사하던 중 A 쪽 링크가 모두 끊겨 두 데이터 센터 사이 연결이 완전히 잘렸다. 두 데이터 센터 모두 서비스가 나빠지거나 완전히 멈췄다. 고객은 Linode 접속 문제와 함께 프로비저닝, 전원 끄기, 재부팅 같은 작업에도 어려움을 겪을 수 있었다.

증상 네트워크 도달 불가

원인

원인 소프트웨어 결함

구성 요소 백본망NIC·케이블·스위치 포트 링크
기여 요인 장애 중첩수동 조치 악화
촉발
2월 11일 17:45 UTC 에 US-West 두 데이터 센터를 잇는 A 쪽 다중 광섬유 회선의 링크 하나가 끊겼고, 2월 12일 2:45 UTC 에 이중화 짝인 B 쪽 회선 전체가 끊겼다. 하드웨어 업체와 함께 원인을 조사하던 중에는 시스템에 영향을 주지 않는 명령 하나가 드문 버그를 건드려 A 쪽 링크가 모두 끊겼다.

감지

2월 12일 10:22 UTC 상태 페이지에 US-West 리전의 연결 문제 신고를 조사 중이라는 공지가 올라왔다. 12:52 UTC 에는 연결 문제 신고가 더 들어와 다시 살펴보기 시작했다.

조치

후속 조치

–

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 백본망, NIC·케이블·스위치 포트 링크. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.