IL-0348 Scaleway · 2025-03-10networking

FR-PAR 리전의 모든 제품에서 공용 인터넷 연결이 끊기고 여러 제품이 오래 불안정했다

2025-03-10 Scaleway 네트워크 팀은 FR-PAR 리전 백본에 새 데이터 센터를 연결하고 있었다. 16:23 UTC 에 사람이 라우터 구성을 잘못 넣어 OpCore DC3 와 DC5 사이의 1Tbps 넘는 트래픽이 100Gbps 링크 하나로 돌아갔다. 링크가 포화되어 인터넷 트래픽 대부분이 버려졌고, FR-PAR-2 가용 영역과 나머지 PAR 리전 사이의 공용 인터넷 연결이 심하게 끊겼다. 실수는 빨리 발견되어 4분 안에 롤백됐고, 16:27 UTC 에 올바른 구성이 돌아오며 네트워크도 수렴해 안정됐다.

다른 제품들은 롤백과 전환 장치가 켜지면서 부작용을 겪었다. FR-PAR-2 전체의 연결이 끊겨 이 장치들은 성공하지 못했고, 보호 장치가 켜졌다 꺼지기를 되풀이하며 망이 혼잡해져 여러 제품이 불안정했다. 제품에 따라 정상으로 돌아오기까지 몇 분에서 수십 분이 걸렸다. Object Storage 는 소프트웨어 버그로 가용 영역 사이 복제에 속도 제한이 없어서, 연결이 돌아오자 복제 트래픽이 링크를 채웠다. 그 결과 약 25분 동안 리전 전체에서 Object Storage 가 오작동했고 16:50 UTC 무렵 정상으로 돌아왔다. 고객 데이터 손실은 없었다.

심각도: –
영향 범위: Public internet connectivity for all products in FR-PAR, with DNS, Object Storage, Kubernetes Kapsule, Instances, Transactional Email, Dedibox servers in DC5 and Elastic Metal in FR-PAR-2 affected; VPC and Dedibox RPN were not affected
영향 사용자: –
지역: FR-PAR (fr-par-1, fr-par-2, fr-par-3 and DC5)
감지까지: –
복구까지: 1h 38m

증상

2025-03-10 16:23 UTC 무렵 FR-PAR 리전의 모든 제품에서 공용 인터넷 연결이 크게 흔들렸다. 인터넷 트래픽 대부분이 사실상 버려졌고, FR-PAR-2 가용 영역과 나머지 PAR 리전 사이의 공용 인터넷 연결이 심하게 끊겼다.

끊긴 것은 공용 인터넷 연결뿐이었다. VPC 통신은 FR-PAR-1 과 FR-PAR-2 안에서도, PAR1, PAR2, PAR3 사이에서도 영향이 없었고, Dedibox RPN 도 영향이 없었다.

연결은 4분 만에 돌아왔지만 제품마다 정상으로 돌아오기까지 몇 분에서 수십 분이 더 걸렸다. Transactional Email, DC5 의 Dedibox 전용 서버, FR-PAR-2 의 Elastic Metal 은 16:23 부터 16:27 UTC 까지, Virtual Instances 는 17:10 UTC 까지, DNS 권한 서버와 캐시는 17:20 UTC 까지, Object Storage 와 Kubernetes Kapsule 은 18:00 UTC 까지 영향을 받았다.

롤백과 전환 장치가 켜졌지만 FR-PAR-2 가용 영역 전체의 연결이 끊긴 탓에 성공하지 못했다. 네트워크가 내려간 것은 아니었다. 보호 장치가 켜졌다 꺼지기를 되풀이하면서 망이 심하게 혼잡해졌고, 이 때문에 여러 제품이 불안정해졌다.

Object Storage 는 연결이 끊긴 동안 가용 영역 사이 복제가 멈췄다. 연결이 돌아오자 속도 제한 없이 몰린 복제 트래픽이 일부 링크를 채워 지연과 패킷 손실을 냈고, FR-PAR 리전 전체에서 16:50 UTC 무렵까지 약 25분 동안 Object Storage 가 심하게 오작동했다. 고객 데이터 손실은 없었다.

증상 패킷 손실 서비스 중단 지연 시간 증가