Incident Library

IL-0400 PSBA · 2026-03-25networking

웨일스 공공 부문 광역 네트워크 PSBA 에서 웨일스 전역의 기관 사이트가 연결과 인터넷 접속을 잃었고, 관리 링크도 계속 끊겼다 붙었다

Capita 가 운영하던 레거시 UPS 장비는 BT/PSBA 소유와 관리로 넘어가는 중이었다. 이 장비들은 /16 서브넷에 있었고, BT/PSBA 가 이 장비들을 관리하려면 라우팅 구성을 바꿔 MPLS VPN 경로를 통제된 방식으로 leaking 해야 했다. 이 방법을 간단히 적용할 수 있는지 보려고 2026년 3월 25일 16:30 에 PSBA 코어 Provider Edge 라우터에 구성 변경을 적용했다. 서비스에 영향이 없는 변경으로 보고 정식 변경 관리를 거치지 않았다. route map 을 적용한 직후에는 영향이 보이지 않았다. UPS 장비에서 돌아오는 트래픽에도 route import 변경이 필요하다는 것을 알게 되자, 승인 없이 변경을 더 넓히는 것은 맞지 않다고 보고 16:40 에 구성을 지웠다.

그러나 route map 을 바꿨던 Vantage Data Centre 코어 Provider Edge 라우터가 default route 를 내보냈고, 이 default route 가 레거시 MPLS 관리 구성을 가진 고객 VPN 으로 들어갔다. 고객 VRF 에 route target import 64627:16 이 있으면 고객의 default route 가 덮어써져, 그 고객은 인터넷 연결을 잃거나 연결이 나빠질 수 있었다. 20~30분 뒤 관리 연결 문제가 넓게 드러났다. 두 PSBA 관리 링크가 끊겼다 붙기를 되풀이하는 것이 보였기 때문에, 3rd line 지원 팀은 처음에 이 문제를 앞선 변경과 연결 짓지 않았다. 관리 링크가 흔들린 정확한 원인은 아직 조사 중이었다. 관리 접속을 잃어 해결 담당 그룹은 네트워크 상태와 고객 영향을 제대로 보지 못했다. 고객 영향의 자세한 내용도 해결 담당 그룹에 충분히 전달되지 않았고, 공지 메일과 문자는 일부 기관에 닿지 않았다.

22:00 에 Technical Design Architect 가 현장에서 BGP 의 QoS 를 조정해 관리 링크를 안정시키자 경보가 줄었다. 이어진 점검에서 잘못 광고되는 default route 를 찾았다. route map 변경은 지워진 상태였고, 경로를 지우고 inbound BGP 광고를 리셋해도 default route 는 계속 잘못 광고됐다. 3월 26일 01:02 에 인터넷에서 학습한 경로에 영향을 주던 구성 문제를 찾아 고쳤고, 01:10 에 라우터를 통제된 방식으로 다시 올렸다. 네트워크는 01:15 부터 안정됐고, 보건위원회들은 02:08 에 서비스가 복구됐다고 확인했다.

심각도
–
영향 범위
Sites on the PSBA network across Wales lost connectivity or internet access, fully or intermittently, including councils, health boards, fire and rescue services, Natural Resources Wales and others; PSBA management connectivity was also unstable
영향 사용자
public sector organisations across Wales
지역
Wales
감지까지
18m
복구까지
8h 35m

증상

2026년 3월 25일 16:57 부터 웨일스 곳곳의 기관이 사이트 연결이 끊겼다고 서비스 데스크에 전화했다. 16:58 에 모니터링 시스템에 경보가 400개 넘게 떠 Major Incident 가 선언됐다. 경보는 17:05 에 약 1,500개, 17:08 에 웨일스 전역에서 약 5,000개로 늘었다.

고객은 사이트가 내려갔다, 연결이 느리다, 인터넷이 가끔 또는 완전히 끊긴다, 네트워크에 접근할 수 없다, 로그인이 안 된다고 알렸다. DHCW 는 17:10 에 데이터 센터에서 오는 default route 가 사라졌고 VPN 에 문제가 있다고 알렸다. 그러나 그때는 이 신고를 Major Incident 와 관련 없는 것으로 보고 2nd line 지원 팀에 따로 넘겼다. Carmarthen 은 17:00 무렵 default routing 을 잃었다가 나중에 안정됐다.

3rd line 지원 팀은 CORE 장비에는 접근할 수 있었지만, secure management platform 과의 BGP peering 이 끊겨 두 NAT 장비의 관리 접속이 불안정했다. 장비 연결이 끊겼다 붙기를 되풀이하는 flapping 때문에 접속은 한 번에 30초도 가지 않았다. 짧게 붙은 동안 할 수 있었던 제한된 점검으로는 문제를 찾지 못했다. Cardiff 와 Bangor 의 관리 링크는 18:06 에도 끊겼다 붙기를 되풀이하고 있었다.

3rd line 지원 팀은 처음에 관리 쪽 문제로 보고 관리 링크 복구를 기다렸다. 두 관리 링크가 끊겼다 붙기를 되풀이하는 것이 보였기 때문에, 이 문제를 앞선 구성 변경과 연결 짓지 않았다. PSBA 네트워크는 안정돼 보였기 때문에 고객이 알린 문제를 확인할 수 없었다.

18:45 에 관리 링크 회선을 점검했지만 결함이 없었다. 18:55 에 확인한 회선 공급업체의 시스템에도 문제나 경보가 없었다. 런던 지역에서 진행 중이던 major service outage 인 MSO 와 관련이 있는지도 살폈다. 그러나 19:20 에 MSO 팀은 웨일스 사이트가 영향을 받지 않았다고 확인했다.

22:00 에 BGP 의 QoS 를 바꾸자 관리 접속이 돌아오고 경보가 줄어 22:27 에는 한 자릿수가 됐다. 그러나 22:45 와 23:15 에 보건위원회들은 나아진 것이 없다고 했다.

증상 네트워크 도달 불가간헐적 연결 실패링크 플래핑

원인

원인 설정 변경

구성 요소 BGP 라우팅
기여 요인 롤백 무효리뷰 누락디버그 접근 제한장애 중첩
촉발
2026년 3월 25일 16:30 에 Capita 가 운영하던 레거시 UPS 장비를 BT/PSBA 관리로 옮기려고 PSBA 코어 Provider Edge 라우터의 route map 을 바꾸는 구성 변경을 적용했다. 이 변경은 정식 변경 관리를 거치지 않았다. 변경은 16:40 에 되돌렸지만 그 라우터가 default route 를 계속 잘못 광고했다.

감지

16:57 에 Mid Wales Fire & Rescue Service 가 Presteigne 사이트의 연결이 끊겼다고 전화했다. 16:58 에 모니터링 시스템이 묶어 보낸 경보로 Service Now 에 CS0287201 건이 열렸다. 그때 경보는 400개가 넘어 Major Incident 가 선언됐다.

조치

후속 조치

교훈

보고서가 밝힌 교훈은 여덟 가지였다. PSBA 가 합의한 변경 관리 절차 밖에서 계획에 없던 변경을 했다. P1 / Major Incident 동안 내부 소통이 효과적이지 않아 업데이트가 늦고 흩어졌다. 네트워크 전체에 걸친 큰 장애에 대응할 준비가 부족했다. 관리 접속을 잃어 해결 담당 그룹이 문제를 끝까지 찾지 못했고 네트워크 상태와 고객 영향을 보기 어려웠다. 고객 영향을 자세히 몰라 해결 담당 그룹이 충분한 정보를 받지 못했고, 그래서 문제 해결의 효과가 떨어지고 근본 원인을 찾는 일이 늦어졌다. PSBA 경영진에게 에스컬레이션하는 속도가 문제였다. 네트워크 안에 레거시 구성이 남아 있었다. 메일과 문자 공지가 효과적이지 않아 일부 고객이 제때 알맞은 업데이트를 받지 못했다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: BGP 라우팅. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.