IL-0563 Linode · 2025-03-17networking
Linode 의 모든 리전에서 서버에 연결할 수 없게 됐고 Amsterdam 데이터센터는 거의 전부 멈췄다
2025년 3월 17일 16:38 UTC 쯤 Linode 의 여러 데이터센터에서 서버에 연결할 수 없다는 내부 알림이 쏟아졌고, 고객도 여러 제품의 문제를 신고했다. 원인은 진행 중이던 Akamai Compute 내부 백엔드 API 구성 요소의 릴리스였다. 롤아웃이 이어지는 동안 이 API 의 응답이 서로 일치하지 않았고, 라우트 서버가 그 응답으로 불완전한 BGP 경로 테이블을 만들었다. 그 결과 모든 데이터센터에서 연결 문제가 났고, Amsterdam 데이터센터인 NL-AMS 는 거의 전부 멈췄다.
17:10 UTC 에 릴리스가 끝나자 엔드포인트 사이의 데이터가 다시 일치했고 대부분의 데이터센터가 스스로 회복했다. 남은 영향을 없애려고 18:30 UTC 쯤 모든 데이터센터의 라우트 서버를 재시작하기 시작했다. 재시작은 영향이 가장 큰 리전부터 단계적으로 진행했고 21:34 UTC 쯤 끝났다. Linode 는 한동안 시스템을 지켜본 뒤 문제가 해결됐다고 확인했고, 3월 18일 16:24 UTC 에 사고를 해결 상태로 닫았다. 보고서는 조사가 아직 진행 중이라고 밝혔다.
- 심각도
- –
- 영향 범위
- network connectivity to servers in all data centers; in Amsterdam, deploying and booting Linodes and other host-level jobs failed and the data center was nearly fully down; Object Storage and LKE access could fail
- 영향 사용자
- –
- 지역
- all regions, worst in Amsterdam (NL-AMS)
- 감지까지
- –
- 복구까지
- 4h 56m
증상
2025년 3월 17일 16:38 UTC 쯤 여러 데이터센터에서 서버들에 오랫동안 연결할 수 없다는 내부 알림이 한꺼번에 울렸다. 같은 때 고객들도 여러 제품에서 문제를 신고하기 시작했다.
모든 데이터센터에서 네트워크 문제가 날 수 있었고, Amsterdam 데이터센터인 NL-AMS 가 가장 크게 영향을 받았다. Amsterdam 에서는 새 Linode 배포, 기존 Linode 부팅, 그 밖의 호스트 단위 작업이 되지 않았고 데이터센터가 거의 전부 멈췄다. Object Storage 와 Linode Kubernetes Engine 인 LKE 에 접근하지 못하는 문제도 있을 수 있었다.
17:10 UTC 에 백엔드 API 릴리스가 끝나자 대부분의 데이터센터는 따로 손대지 않아도 회복했다. 그 뒤에도 영향이 남은 곳이 있었다. 19:20 UTC 에 올라온 상태 페이지 공지는 Amsterdam 사용자가 Linode 배포, 부팅, 사용에서 더 큰 장애를 겪을 수 있다고 알렸다.
원인
원인 배포 결함
- 촉발
- Akamai Compute 의 내부 백엔드 API 구성 요소를 릴리스하는 중이었다. 롤아웃이 이어지는 동안 이 API 의 응답이 서로 일치하지 않았다.
감지
16:38 UTC 쯤 여러 데이터센터에서 서버들에 오랫동안 연결할 수 없다는 내부 알림이 대거 울렸다. 같은 때 고객들도 여러 제품의 문제를 신고하기 시작했다.
조치
- 18:30 UTC 쯤부터 모든 데이터센터의 라우트 서버를 영향이 가장 큰 리전부터 단계적으로 재시작했고, 21:34 UTC 쯤 마쳤다.
후속 조치
- 라우트 서버가 받는 경로 데이터가 끊김 없이 이어지게 할 더 나은 방법을 마련할 때까지 백엔드 API 릴리스를 멈춘다.
교훈
–
출처
- https://status.linode.com/incidents/78l7qy9m2sn0 · official-status · 보관본
관련 사례
같은 원인 · 공통 네트워크 컨트롤 플레인
같은 원인 · 공통 네트워크 컨트롤 플레인
IL-0530us-central1 의 가상 네트워크 라우터 컨트롤러가 메모리 부족으로 재시작을 되풀이해 새 VM 과 마이그레이션된 VM 의 네트워크가 오래 끊겼다Google Cloud · 2023같은 원인 · 공통 네트워크 컨트롤 플레인
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0563
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0563/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.