Incident Library

IL-0347 Scaleway · 2024-10-18networkingkubernetes

FR-PAR-1 가용 영역에서 하이퍼바이저 약 25% 의 VPC 연결이 11분 동안 끊겼다

2024-10-18 6:20 UTC 에 FR-PAR-1 의 랙 하나에서 Top of Rack 스위치, 곧 ToR 스위치 한 대의 소프트웨어가 충돌했다. 소프트웨어 모듈이 불안정해서 네트워크 프로토콜이 랙의 모든 트래픽을 두 번째 ToR 스위치로 넘기는 데 약 50초가 걸렸고, 그동안 랙의 하이퍼바이저를 오가는 트래픽에서 패킷이 불규칙하게 많이 버려졌다. 6:21 UTC 에 트래픽이 예비 장비로 모두 옮겨졌고, 충돌한 스위치는 6:38 UTC 에 자동 재부팅을 마치고 이중화 상태로 돌아왔다.

이 불안정은 그 랙의 하이퍼바이저에서 돌던 VPC 용 BGP 경로 반사기, 곧 RR 에 번졌다. RR 소프트웨어는 비정상 상태에 멈췄고 자동 재시작으로도 풀리지 않았다. 예비 RR 이 정상이라 고객 영향은 없었지만 RR 이중화는 사라진 상태였다. 7:50 UTC 에 두 번째 RR 도 심각한 상태에 빠져 멈췄고, 하이퍼바이저 약 25% 가 리전의 나머지와 VPC 연결을 잃었다. 두 RR 모두 헬스 체크와 자동 재시작 장치가 있었고, 헬스 체크는 이상을 잡았지만 자동 재시작이 실패했다.

Scaleway 의 Customer Excellence 팀과 SRE 팀이 영향을 알아채 사고를 열고 기술 경영진에 알렸다. 두 RR 을 손으로 고쳐 8:01 UTC 에 VPC 연결이 모두 돌아왔고, 8:07 UTC 에 이중화까지 정상으로 돌아왔다. Kapsule 클러스터는 8:04 UTC 까지 거의 모두 회복했다.

심각도
–
영향 범위
VPC connectivity for about 25% of FR-PAR-1 hypervisors and the products built on it: Managed Database and Redis, Serverless Functions and Containers, Kubernetes Kapsule nodes and control planes; earlier, about a minute of heavy packet loss for instances in one rack
영향 사용자
Customers with resources on the affected hypervisors and in the affected rack
지역
FR-PAR-1
감지까지
–
복구까지
1h 41m

증상

FR-PAR-1 가용 영역의 하이퍼바이저 약 25% 가 리전의 나머지와 VPC 로 통신하지 못했다. 7:50 부터 8:01 UTC 까지 Managed Database, Redis, Serverless, Kubernetes Kapsule 처럼 VPC 에 기대는 제품이 함께 영향을 받았다.

이보다 앞선 6:20 부터 6:21 UTC 까지 약 1분 동안 랙 하나에 있는 소수 인스턴스가 모든 종류의 네트워크 연결에서 패킷 손실을 크게 겪었다. 이때 Managed Database 고객 일부는 데이터베이스에 연결할 때 HTTP 500 오류를 받았다.

VPC 가 끊긴 동안 Managed Database 와 Redis 고객 일부는 VPC 로 데이터베이스에 접속하지 못했다. Serverless 컴퓨트 노드 한 대를 쓸 수 없게 되어, 그 노드의 워크로드가 다시 스케줄되는 동안 함수와 컨테이너 호출이 500 오류를 낼 수 있었다.

Kapsule 에서는 노드 사이에 네트워크 분할이 생겨 서로 다른 노드에 있는 애플리케이션끼리 통신하지 못했다. 컨트롤 플레인을 올린 인프라도 VPC 를 써서 일부 컨트롤 플레인을 쓸 수 없었다. 가용 상태를 보고하지 못한 노드 일부는 오토힐링이 교체했고, 그 노드의 워크로드가 다시 스케줄되거나 재시작됐다.

이 구간에도 공용 인터넷 연결과 Elastic Metal 의 VPC 연결은 영향을 받지 않았다.

증상 네트워크 도달 불가패킷 손실노드 NotReady

원인

원인 소프트웨어 결함

구성 요소 네트워크 컨트롤 플레인BGP 라우팅네트워크 스위치데이터베이스관리형 쿠버네티스 컨트롤 플레인과 제공자 API
기여 요인 과도한 영향 범위자동화 증폭
촉발
6:20 UTC 에 랙 하나의 ToR 스위치 소프트웨어가 충돌했다. 이 불안정이 같은 랙의 하이퍼바이저에서 돌던 VPC 용 BGP 경로 반사기를 비정상 상태에 빠뜨렸다.

감지

Scaleway 의 Customer Excellence 팀과 SRE 팀이 영향을 알아채고 사고를 열었다. RR 의 헬스 체크 모니터링도 이상을 잡았지만 자동 재시작은 실패했다.

조치

후속 조치

교훈

–

출처

참고 문서

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 네트워크 컨트롤 플레인, BGP 라우팅, 네트워크 스위치. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.