Incident Library

IL-0339 Microsoft Azure · 2024-07-30azurenetworking

Azure Front Door 와 Azure CDN 을 쓰는 Microsoft 서비스에 여러 리전에서 연결 오류, 타임아웃, 지연 급증이 났다

Azure Front Door 는 Azure 리전 안의 데이터 센터와 에지 사이트를 합쳐 전 세계 200곳 가까이에서 도는 Microsoft 의 웹 가속, 글로벌 로드 밸런싱, 콘텐츠 전송 플랫폼이다. Azure Front Door 와 Azure CDN 은 네트워크 계층 공격을 막는 데 Azure 네트워크 DDoS 보호 서비스를 쓴다. 2024년 7월 30일 10시 15분부터 10시 45분 UTC 까지 여러 사이트에 들어온 TCP SYN flood 공격은 이 서비스가 자동으로 막았고 고객 영향은 작았다. Microsoft 는 하루 평균 1,700건의 DDoS 공격을 자동으로 막는다고 했다.

11시 45분쯤 DDoS 보호 서비스는 공격 완화를 끝내고, 트래픽을 Azure Front Door 로 바로 보내는 기본 경로로 되돌리고 있었다. 이때 유럽의 한 사이트는 지역 정전으로 네트워크 컨트롤 플레인이 실패해 경로를 바꾸지 못했다. 그래서 유럽 안의 트래픽은 계속 DDoS 보호 서비스를 거쳐 Azure Front Door 로 갔다. 이것만으로는 영향이 없었겠지만, 이와 관계없이 숨어 있던 네트워크 설정 문제 때문에 유럽 밖의 트래픽까지 유럽의 DDoS 보호 시스템으로 갔다. 그 결과 국지적인 혼잡이 생겨 여러 리전에서 높은 지연과 연결 실패가 났다.

엔지니어는 12시 55분에 혼잡을 확인하고 표준 플레이북대로 트래픽 경로를 바꿨고, 13시 58분에 영향 대부분이 사라졌다. 엔지니어는 남은 연결 실패를 조사하던 16시 15분에 유럽의 장비 하나가 네트워크 컨트롤 플레인의 명령을 제대로 따르지 않는 것을 찾았다. 이 장비는 트래픽을 그만 끌어들이라는 지시를 받은 뒤에도 계속 끌어들였다. 명령을 다시 내려도 그 장비에 닿지 않자 엔지니어는 17시 50분부터 장비를 네트워크에서 안전하게 빼기 시작해 19시 32분에 마쳤다. 19시 43분에 가용성이 장애 전 수준으로 돌아온 것을 확인했다.

심각도
–
영향 범위
Microsoft services that use Azure Front Door and Azure CDN, and downstream services including the Azure portal and a subset of Microsoft 365 and Microsoft Purview services
영향 사용자
a subset of customers; from 13:58 to 19:43 UTC a smaller set
지역
multiple regions; congestion at one site in Europe
감지까지
2m
복구까지
7h 58m

증상

2024년 7월 30일 11시 45분 UTC 부터 Azure Front Door 와 Azure CDN 을 거치는 Microsoft 서비스에 접속하던 일부 고객이 간헐적인 연결 오류, 타임아웃, 지연 급증을 겪었다. 11시 47분에 Azure Portal 팀이 먼저 서비스 성능 저하를 알아챘다.

Azure Front Door 와 CDN 에 기대는 다른 서비스도 영향을 받았다. Azure Portal 과 Microsoft 365 의 일부 서비스, Microsoft Purview 의 일부 서비스가 여기에 포함됐다. 13시 13분 UTC 에는 Microsoft 서비스 전반에 연결 문제가 있다는 신고를 조사 중이며 Azure 서비스에 접속할 때 타임아웃이 날 수 있다는 공지가 나갔다.

12시 10분에 네트워크 모니터링이 포털 장애를 유럽의 한 사이트에서 난 네트워크 문제와 연결 지었다. 12시 55분에 엔지니어가 그 사이트의 국지적인 혼잡을 확인했다. 혼잡 때문에 여러 리전의 고객이 높은 지연과 연결 실패를 겪었다.

13시 58분에 트래픽 경로를 바꾸자 영향 대부분이 사라졌다. 그 뒤에도 더 적은 고객에게 낮은 비율의 연결 타임아웃이 19시 43분까지 이어졌다. 재시도 로직이 제대로 없는 애플리케이션에서는 연결 실패가 드문드문 났을 수 있다.

앞서 10시 15분부터 10시 45분 UTC 까지 여러 Azure Front Door 와 CDN 사이트에 대량의 분산 TCP SYN flood DDoS 공격이 들어왔다. 자동 DDoS 완화가 SYN 인증 챌린지를 보내는 동안 재시도 로직이 없는 애플리케이션을 쓰는 소수 고객은 연결 실패를 겪었을 수 있었다.

증상 간헐적 연결 실패간헐적 타임아웃지연 시간 증가패킷 손실

원인

원인 설정 변경

구성 요소 CDN 과 엣지 네트워크DDoS 방어 서비스네트워크 컨트롤 플레인데이터센터 전력·냉각
기여 요인 장애 중첩과도한 영향 범위모니터링 사각지대
촉발
Azure 네트워크 DDoS 보호 서비스가 TCP SYN flood DDoS 공격을 자동으로 막은 뒤 트래픽을 Azure Front Door 로 직접 돌려보내려 했다. 그런데 유럽의 한 사이트에서는 지역 정전으로 네트워크 컨트롤 플레인이 실패해 그 사이트의 경로를 바꾸지 못했다.

감지

장애가 시작되고 2분 뒤인 11시 47분 UTC 에 Azure Portal 팀이 서비스 성능 저하를 알아채고 조사를 시작했다. 12시 10분에 네트워크 모니터링이 이 포털 장애를 유럽의 한 사이트에서 난 네트워크 문제와 연결 지었다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: CDN 과 엣지 네트워크, DDoS 방어 서비스, 네트워크 컨트롤 플레인. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.