Incident Library

IL-0561 DigitalOcean · 2026-08-24database

DigitalOcean 의 Cloud Control Panel 과 공개 API 에서 두 차례에 걸쳐 요청이 최대 25% 실패했다

2026년 8월 24일 DigitalOcean 은 아이덴티티, 인증, 인가 서비스를 받치는 데이터베이스 계층을 계획에 따라 이전하고 있었다. 16:56 UTC 에 핵심 인가 쿼리 하나가 평소 기준보다 훨씬 느려졌다. 쿼리 지연이 늘자 여러 상위 서비스가 자동으로 hedged retry 를 보냈다. 이렇게 불어난 요청이 인증 서비스 풀의 처리량을 넘어서 큐가 쌓였고, 인가 경로 전체로 요청 타임아웃이 연쇄로 번졌다.

첫 구간에서 엔지니어들은 재시도 설정을 조정하고, 인가 트래픽을 정상인 처리 경로 하나로 몰고, 주요 호출자의 hedging 을 잠시 껐다. 18:52 에 서비스가 돌아왔다. 21:30 에 트래픽을 평소의 여러 경로 구성으로 되돌리자, 남아 있던 쿼리 지연과 hedging 을 끄지 않은 호출자의 재시도가 겹쳐 큐가 다시 포화됐고 두 번째 구간이 시작됐다. 팀은 나머지 영향받은 서비스에서도 재시도와 요청 증폭 동작을 끄고, 느린 쿼리에 읽기 용량을 더했다. 23:09 에 서비스가 안정됐다.

두 구간에서 인증된 요청의 평균 약 10% 가 실패했고 최고 오류율은 25% 였다. 활성 고객 계정의 2% 미만이 API 나 Cloud Control Panel 요청 실패를 한 번 이상 겪었다. Droplet, 네트워크 라우팅, Volumes 는 영향을 받지 않았고 데이터 손실은 없었다. 데이터베이스 이전은 끝까지 마쳤다.

심각도
–
영향 범위
Cloud Control Panel, Public API, Kubernetes cluster authentication, Container Registry and Serverless / AI Inference endpoints failed requests at about 10% on average and 25% at peak; Droplets, network routing and Volumes were not affected
영향 사용자
fewer than 2% of active customer accounts saw at least one failed API or Control Panel request
지역
–
감지까지
2m
복구까지
6h 13m

증상

2026년 8월 24일 16:56 UTC 부터 DigitalOcean 의 Cloud Control Panel, 공개 API, 그리고 이 둘에 기대는 제품 관리 시스템에서 요청 오류율이 올라갔다. 여러 제품의 생성 요청을 포함한 모든 API 요청에서 5xx 오류가 늘었고, 사용자가 cloud.digitalocean.com 에 들어가지 못하기도 했다.

영향을 받은 관리 영역은 Cloud Control Panel, 공개 API, Kubernetes 클러스터 인증, Container Registry, Serverless 와 AI Inference 엔드포인트였다. Serverless Inference 사용자는 API 를 호출하거나 해당 서비스에 접근할 때 403 과 503 오류를 받을 수 있었다.

오류는 6시간 동안 두 구간에 나뉘어 나타났고, 실제로 서비스가 나빴던 시간은 합쳐서 3.5시간이었다. 첫 구간은 16:56 에 시작해 18:52 에 끝났다. 그사이 18:33 에는 지연과 오류율이 조금 나아졌고 일부 사용자는 Cloud Control Panel 에 다시 들어갈 수 있을 것이라는 공지가 상태 페이지에 올라왔다. 21:30 에 트래픽을 평소 구성으로 되돌리자 같은 포화가 다시 일어나 두 번째 구간이 시작됐고, 23:09 에 끝났다. 두 구간을 합친 평균 실패율은 인증된 요청의 약 10% 였고, 최고 오류율 25% 는 두 번째 구간에서 나왔다.

실행 중인 Droplet, 네트워크 라우팅, 블록 스토리지인 Volumes 는 사고 내내 정상으로 동작했다. 이미 맺어진 연결은 문제가 난 인가 경로를 거치지 않기 때문이다.

증상 오류율 상승지연 시간 증가

원인

원인 설정 변경

구성 요소 데이터베이스인증·인가 서비스
기여 요인 재시도 폭주수동 조치 악화
촉발
아이덴티티, 인증, 인가 서비스를 받치는 데이터베이스 계층을 계획에 따라 이전하는 인프라 작업을 하던 중이었다. 이 이전 작업 때문에 핵심 인가 쿼리 하나의 실행 지연이 늘었다.

감지

16:58 UTC 에 자동 모니터링이 비정상적인 오류율과 지연을 잡아냈다. 보고서는 영향이 시작되고 5분 안에 감지했다고 적었다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스, 인증·인가 서비스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.