Incident Library

IL-0398 Government Digital Service · 2021-06-08networking

GOV.UK 가 쓰는 주 CDN 에 전 세계 장애가 나서, 1시간이 안 되는 동안 GOV.UK 방문자가 오류 페이지만 봤다

2021년 6월 8일 GOV.UK 가 쓰는 주 CDN 에 장애가 나서 GOV.UK 와 전 세계의 다른 사이트가 크게 멈췄다. GOV.UK 요청의 약 93%는 CDN 캐시가 응답한다. CDN 은 네트워크 엣지에 있으므로 CDN 이 망가지면 사이트 전체가 내려간다. 방문자는 1시간이 안 되는 동안 "Error 503 Service Unavailable" 오류 페이지를 봤다.

GOV.UK 는 CDN 을 단일 장애점으로 보고, 늘 켜 두지만 평소에는 트래픽을 받지 않는 보조 CDN 을 둔다. 보조 CDN 에서는 검색이나 위치 기반 서비스 같은 동적 기능이 평소처럼 동작하지 않는다. 주 CDN 장애는 빨리 끝나는 일이 많아서, 너무 일찍 넘기면 오히려 장애를 키울 수 있다. 그래서 계획은 15분 동안 장애의 심각도를 지켜보고, 장애가 계속되면 보조 CDN 으로 페일오버하는 것이었다. 트래픽은 DNS 레코드에 따라 주 CDN 으로 가고, DNS 레코드를 바꾸는 코드는 미리 준비돼 있었다.

장애를 감지하고 15분이 지나도 상태가 바뀌지 않자 팀은 보조 CDN 으로 페일오버하기로 했다. DNS 레코드 변경은 오래 걸릴 수 있지만 팀은 30분 안에 변경을 배포했고, 트래픽이 보조 CDN 으로 가기 시작했다. 그 무렵 주 CDN 이 회복되는 것이 보였고, 팀은 몇 분 지켜본 뒤 주 CDN 으로 되돌렸다. 그 뒤 1시간을 더 지켜보고 남은 문제가 없다고 판단해 장애 종료를 선언했다.

심각도
–
영향 범위
GOV.UK information and services were unreachable and showed error pages for less than an hour; other websites on the same CDN were also affected
영향 사용자
all visitors to GOV.UK
지역
worldwide
감지까지
4m
복구까지
–

증상

2021년 6월 8일 1시간이 안 되는 동안 GOV.UK 방문자가 정보와 서비스에 접근하지 못하고 오류 페이지를 봤다. 팀은 장애가 시작되고 4분 뒤에 알아챘다.

방문자가 본 오류 페이지의 제목은 "Error 503 Service Unavailable" 이었다. 이 페이지는 GOV.UK 가 손댈 수 없는 페이지였고, 같은 CDN 을 쓰는 다른 사이트의 방문자도 같은 페이지를 봤다.

장애 대응 팀은 조사 끝에 원인이 주 CDN 이라는 것을 확인했다. 계획대로 15분 동안 주 CDN 의 상태를 지켜봤지만 바뀐 것이 없었다.

증상 서비스 중단

원인

원인 의존성 장애

구성 요소 CDN 과 엣지 네트워크
기여 요인 –
촉발
–

감지

장애는 시작되고 4분 뒤에 감지됐다. 팀은 장애 책임자를 정했고, 장애 책임자는 커뮤니케이션 책임자와 함께 공식 장애 대응 절차를 시작했다.

조치

후속 조치

교훈

어떤 인프라도 100% 믿을 수는 없고, 네트워크 엣지에 있는 CDN 이 망가지면 사이트 전체가 내려가므로 예비 계획이 있어야 한다고 팀은 말했다. 보조 CDN 으로는 기능이 줄어든 서비스만 할 수 있어서 페일오버는 큰 결정이고, 주 CDN 장애가 빨리 끝나면 너무 이른 페일오버가 오히려 장애를 키울 수 있다고 했다. 이런 장애에서는 침착하게, 목적을 분명히 하고 움직이는 것이 중요하다고 했다. 방문자가 본 오류 페이지는 GOV.UK 가 손댈 수 없는 페이지였고, 아무 정보도 주지 못해 GOV.UK 의 콘텐츠 기준에 크게 못 미쳤다고 했다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: CDN 과 엣지 네트워크. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.