Incident Library

IL-0533 Microsoft Azure · 2024-04-23azurenetworking

Azure China 의 핵심 시스템 도메인 chinacloudapp.cn 과 chinacloudsites.cn 의 이름 해석이 실패해 여러 서비스에 연결할 수 없었다

Microsoft 는 중국 정부의 규제 요건을 지키려고 모든 도메인의 소유가 올바르게 정해지고 문서로 남아 있는지 내부 감사를 했다. 이 과정에서 Azure China 운영에 꼭 필요한 시스템 도메인 chinacloudapp.cn 과 chinacloudsites.cn 의 소유가 잘못 매겨졌고, 두 도메인이 폐기 후보로 표시됐다. 폐기 절차의 다음 단계는 표시된 도메인의 실제 트래픽을 한동안 지켜보는 것이었다. 그런데 DNS 영역과 호스팅 정보를 알려 주는 관리 도구가 Azure China 에 호스팅된 영역을 보지 못해 영역 파일이 없다고 보고했다. 쓰이지 않는 수명이 끝난 도메인에는 영역 파일이 없는 일이 흔해서, 운영자에게는 아무 경고도 가지 않았다. 워크플로는 다음 단계로 넘어갔다. 이 단계는 숨은 사용자나 서비스를 찾는 마지막 점검으로, 두 도메인의 네임서버를 비활성 서버 묶음으로 바꿨다.

네임서버는 2024-04-23 03:45 CST 에 바뀌었고, DNS 캐시가 차례로 만료되면서 두 도메인의 FQDN 을 해석하지 못하게 됐다. Azure China 리전에서 여러 Azure 서비스, portal.azure.cn, API, China East 2 와 China East 3 의 Azure Monitor, Log Analytics, Microsoft Sentinel 이 영향을 받았다. 04:37 CST 에 내부 모니터가 서비스 저하를 알리고 인시던트를 만들었다. 04:39 CST 에 엔지니어링 팀이 인시던트를 확인했다. 엔지니어들은 04:57 CST 에 이름 해석 실패가 두 도메인의 네임서버 변경과 시기가 겹친다는 것을 확인했고, 04:59 CST 에 이전의 정상 네임서버로 되돌렸다. 되돌리기는 05:13 CST 에 끝났고 서비스가 회복하기 시작했다. 리졸버의 캐시 때문에 완화가 길어졌다. 06:00 CST 에 서비스와 DNS 영역의 트래픽이 장애 전 수준으로 돌아온 것을 확인하고 완전 복구를 선언했다.

심각도
–
영향 범위
Name resolution in chinacloudapp.cn and chinacloudsites.cn, and through it connections to many Azure services in China, the Azure Portal (portal.azure.cn) and APIs, and Azure Monitor, Log Analytics and Microsoft Sentinel in China East 2 and China East 3
영향 사용자
Customers of the Azure China regions
지역
Azure China regions
감지까지
52m
복구까지
2h 15m

증상

Azure China 리전에서 고객이 여러 Azure 서비스에 연결하지 못했다. Azure Portal 인 portal.azure.cn 과 API 로도 리소스를 보거나 관리하기 어려웠다. chinacloudapp.cn 과 chinacloudsites.cn 도메인 안의 FQDN 을 해석하지 못한 것이 원인이었다.

연결 문제를 겪은 서비스는 Cosmos DB, Azure Virtual Desktop, Azure Databricks, Backup, Site Recovery, Azure IoT Hub, Service Bus, Logic Apps, Data Factory, Azure Kubernetes Services, Azure Policy, Azure AI Speech, Azure Machine Learning, API Management, Azure Container Registry, Azure Data Explorer 였다.

China East 2 와 China East 3 의 Azure Monitor, Log Analytics, Microsoft Sentinel 은 데이터가 간헐적으로 늦게 들어왔고 데이터 조회와 가져오기가 실패했다. 그래서 알림이 울리지 않았을 수 있다. Log Analytics 의 생성, 갱신, 조회, 삭제 작업도 실패했다.

영향은 바로 나타나지 않고 서서히 번졌다. 네임서버 설정은 03:45 CST 에 바뀌었지만 이전 DNS TTL 때문에 곧바로 영향이 나지 않았다. 인터넷 곳곳의 DNS 캐시가 차례로 만료되면서 리졸버가 두 도메인의 정보를 새로 요청했다. 리졸버는 비활성 네임서버가 담긴 응답을 받았고, 그 때문에 이름 해석이 실패했다. 변경을 되돌린 뒤에도 리졸버의 캐시 때문에 회복이 늦어졌다.

영향은 Microsoft 가 가진 이 두 도메인에만 있었다. Azure DNS 플랫폼의 가용성과 Azure 에 호스팅된 다른 DNS 영역은 영향을 받지 않았다.

증상 DNS 조회 실패오류율 상승모니터링 중단

원인

원인 설정 변경

구성 요소 DNS 서버와 레코드
기여 요인 미검증 가정캐시로 가려진 장애
촉발
도메인 등록 기관을 거친 설정 변경으로 2024-04-23 03:45 CST 에 chinacloudapp.cn 과 chinacloudsites.cn 의 네임서버가 비활성 서버 묶음으로 바뀌었다.

감지

04:37 CST 에 내부 모니터가 Azure China Cloud 의 서비스 저하를 알리고 인시던트를 만들었다. 04:39 CST 에 엔지니어링 팀이 인시던트를 확인했다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: DNS 서버와 레코드. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.