Incident Library

IL-0562 Linode · 2022-12-13networking

Linode Dallas 데이터센터의 Linode 대부분이 간헐적으로 느려지고 연결이 끊겼다

2022년 12월 13일 0:05 UTC 쯤 Linode 의 Dallas 데이터센터에 접속할 수 없다는 알림이 울렸다. 0:10 에 사고로 등록하고 대응팀이 조사를 시작했다. 영향 범위를 다 파악한 0:27 에 상태 페이지에 공지를 올렸다. 0:55 쯤 대량의 브로드캐스트 트래픽이 하이퍼바이저에 영향을 주어 이 데이터센터 Linode 의 약 80-90% 가 간헐적인 지연과 연결 끊김을 겪는다는 것을 확인했다. 브로드캐스트의 대부분은 응답을 받지 못한 ARP 요청이었고, 이 요청이 연쇄로 브로드캐스트를 키웠다.

4:20 UTC 쯤 팀은 이 브로드캐스트를 막는 필터를 전체 호스트에 배포했다. 호스트가 CPU 여유를 되찾아 ARP 요청에 꾸준히 응답하게 되자 네트워크가 회복해 안정됐고, 4:32 UTC 까지 알림이 한꺼번에 풀렸다. 더 지켜본 뒤 6:45 UTC 에 사고를 해결 상태로 닫았다. 처음 넣은 필터는 임시 조치였고, 더 시험한 뒤 12월 13일 18:35 UTC 에 영구 적용을 마쳤다. 보고서를 올린 시점에도 근본 원인은 조사 중이었고, Linode 는 최근 Dallas 데이터센터에서 난 다른 사고들도 함께 보고 있다고 밝혔다.

심각도
–
영향 범위
Linodes in the Dallas data center had intermittent latency and reachability loss; Cloud Manager and the Linode API could be hard to reach
영향 사용자
about 80-90% of the Linodes in the Dallas data center
지역
US-Central (Dallas)
감지까지
–
복구까지
4h 27m

증상

2022년 12월 13일 0:05 UTC 쯤 모니터링 시스템이 Dallas 데이터센터에 접속할 수 없는 문제를 잡아 알림을 냈다. 이 데이터센터 Linode 의 약 80-90% 에서 지연이 간헐적으로 늘고 연결이 끊겼다.

상태 페이지는 Dallas 데이터센터에 배포한 모든 서비스에서 연결 타임아웃과 오류가 날 수 있고, Cloud Manager 와 Linode API 에 연결하는 데도 문제가 있을 수 있다고 알렸다.

0:55 쯤 대응팀은 대량의 브로드캐스트 트래픽이 하이퍼바이저에 영향을 주고 있다는 것을 확인했다. 더 조사해 보니 브로드캐스트의 대부분은 응답을 받지 못한 ARP 요청이었고, 이 요청이 연쇄로 브로드캐스트를 키우고 있었다. 브로드캐스트 스토름이 네트워크를 불안정하게 만든다는 것을 알아낸 뒤에도, 스토름이 생긴 원인과 이를 막을 방법은 따로 찾아야 했다.

증상 간헐적 연결 실패지연 시간 증가간헐적 타임아웃

원인

원인 DNS·네트워크 장애

구성 요소 네트워크 스위치
기여 요인 –
촉발
–

감지

0:05 UTC 쯤 모니터링 시스템이 Dallas 데이터센터에 접속할 수 없는 문제를 잡아 알림을 냈다. 0:10 에 사고로 등록했다.

조치

후속 조치

교훈

–

출처

관련 사례

–

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 네트워크 스위치. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.