Incident Library

IL-0343 DigitalOcean · 2024-11-28networking

digitaloceanspaces.com 도메인의 DNS 해석이 멈춰 DigitalOcean 의 Spaces, 컨테이너 레지스트리, App Platform, 로드 밸런서가 실패했다

2024년 11월 28일 22:38 UTC, DigitalOcean 의 도메인 등록 대행자 Network Solutions 가 digitaloceanspaces.com 도메인에 EPP clientHold 상태 코드를 잘못 걸었다. 이 코드는 고객이 Network Solutions 에 연락해 풀기 전까지 DNS 해석을 막는다. 처음에는 Spaces 에 기대는 Cloud Control Panel 에서 가입과 로그인이 안 됐다. 이어 Spaces 버킷과 그에 기대는 컨테이너 레지스트리, App Platform, Functions, 로드 밸런서, Mongo Managed Database 백업이 장애 내내 오류를 냈다. 실패는 처음에 간헐적이었지만 03:00 UTC 부터 DNS 캐시와 TTL 이 만료되면서 가장 심해졌다.

엔지니어는 23:57 에 whois 정보가 바뀐 것을 알아채고, 01:06 에 whois 의 EPP 항목에서 clientHold 를 찾았다. 01:08 에 Network Solutions 에 연락해 clientHold 를 풀어 달라고 했고, 01:30 에 .com 도메인의 권한 레지스트리인 Verisign 의 임원진에게도 도움을 청했다. 01:42 에 Cloud Control Panel 을 되살렸다. 02:40 에 Verisign 임원과 통화하고 02:44 에 이메일 스레드를 열어 그동안의 작업과 문제, 해결 요청을 보냈다. 여러 차례 에스컬레이션한 끝에 04:03 에 clientHold 가 풀렸다. 팀은 05:38 까지 인프라 전체를 지켜봤고, 기능이 완전히 돌아온 것을 확인했다.

심각도
–
영향 범위
Cloud Control Panel sign-up and log-in, Spaces objects under digitaloceanspaces.com, Spaces CDN, Container Registry create, push and pull, Mongo Managed Database backups, Load Balancer creates and resizes, App Platform builds and Functions creates and updates
영향 사용자
–
지역
all regions
감지까지
0m
복구까지
7h

증상

2024년 11월 28일 22:38 UTC 부터 DigitalOcean 의 Cloud Control Panel 이 열리지 않았고, 고객은 가입하거나 로그인하지 못했다. 모니터링과 고객 신고로 장애가 선언됐고, 22:44 에 내부 알림이 문제를 잡았다.

00:21 UTC 의 첫 공지는 모든 리전에서 Cloud Panel 일부가 영향을 받고, 일부 Spaces 버킷에 CDN 으로 접근하지 못할 수 있다고 알렸다. 사용자는 Cloud Control Panel 에 접속하지 못하거나 DNS 관련 문제를 겪었고, Spaces 와 Spaces CDN 을 관리하거나 쓰지 못했다. Cloud Control Panel 은 Spaces 에 기대고 있어 함께 멈췄다.

digitaloceanspaces.com 아래 DNS 레코드는 전부 해석에 실패했다. 모든 리전에서 digitaloceanspaces.com 아래에 둔 Spaces 객체를 다룰 때 오류가 났고, 컨테이너 레지스트리를 만들거나 push, pull 하는 요청도 실패했다. Mongo Managed Database 백업은 올라가지 않아 그 백업을 쓰려는 사용자가 오류를 봤다. 모든 리전에서 로드 밸런서 생성과 크기 변경, App Platform 의 새 빌드, Functions 생성과 수정도 실패했다.

22:38 UTC 부터 04:03 UTC 까지 DigitalOcean 제품으로 가는 트래픽에 간헐적인 실패가 났다. 03:00 부터 DNS 캐시와 재귀 DNS 서버의 TTL 이 만료되기 시작하면서 해결될 때까지 가장 심한 서비스 중단이 이어졌다.

엔지니어는 상위 제공자의 장애인지 확인하며 가능한 복구 경로를 모두 살폈다. 23:57 에 도메인의 whois 정보가 11월 28일 22:38 UTC 에 바뀐 것을 알아챘고, 01:06 에 digitaloceanspaces.com 의 whois EPP 항목에서 clientHold 상태를 찾았다. Network Solutions 계정에서도 도메인이 inactive 로 표시돼 있었다.

증상 DNS 조회 실패오류율 상승이미지 풀 실패

원인

원인 의존성 장애

구성 요소 도메인 등록 대행자와 레지스트리오브젝트 스토리지컨테이너 레지스트리와 자격 증명
기여 요인 캐시로 가려진 장애모니터링 사각지대
촉발
도메인 등록 대행자 Network Solutions 가 11월 28일 22:38 UTC 에 digitaloceanspaces.com 도메인에 Extensible Provisioning Protocol, 곧 EPP 의 clientHold 상태 코드를 잘못 걸었다. 이 코드는 고객이 Network Solutions 에 연락해 풀기 전까지 DNS 해석을 막는다.

감지

22:38 UTC 에 Cloud Control Panel 이 열리지 않는다는 모니터링과 고객 신고로 장애가 선언됐다. 22:44 에 내부 알림이 문제를 잡았고, 22:57 에 Cloud Control Panel 영향을 알리는 첫 고객 연락이 들어왔다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 도메인 등록 대행자와 레지스트리, 오브젝트 스토리지, 컨테이너 레지스트리와 자격 증명. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.