Incident Library

IL-0287 MongoDB · 2025-10-07databaseobservability

Atlas 와 Cloud Manager 의 모니터링을 받치는 내부 데이터베이스 클러스터의 샤드 하나가 과부하되어 지표 수집과 클러스터 작업이 늦어졌다

MongoDB Atlas 와 Cloud Manager 의 모니터링과 운영 시스템은 샤드로 나뉜 내부 데이터베이스 클러스터에 기댄다. 이 클러스터에서 트래픽이 많은 컬렉션 여럿이 샤딩되지 않은 채 샤드 하나에 몰려 있었고, 전체 컬렉션 스캔 같은 비효율적인 쿼리가 평소에도 그 샤드를 눌렀다. 여기에 새 내부 소프트웨어 버전을 롤아웃하면서 자원 사용량이 일시적으로 치솟아 그 샤드가 감당하지 못했다.

2025년 10월 6일과 7일에 걸쳐 지표 수집이 늦어져 Atlas 대시보드에 운영 데이터가 제때 나오지 않았다. Host Down 알림이 울리지 않았고, 프로비저닝과 크기 조정 같은 클러스터 관리 작업이 늦어졌다. 상태 페이지에는 10월 7일 13:42 UTC 에 조사를 시작했다는 공지가 올라왔다. 이어 17:44 에 원인을 찾아 바로잡는 조치를 했다는 공지, 19:32 에 수정을 적용했다는 공지, 20:03 에 해결됐다는 공지가 올라왔다. MongoDB 는 먼저 시스템을 안정시키는 조치를 한 뒤 장기적인 근본 원인을 해결했다. 고객 클러스터와 데이터는 영향을 받지 않았다.

심각도
–
영향 범위
Delayed or missing metrics in Atlas and Cloud Manager dashboards, Host Down alerts not firing, and delayed Atlas cluster management operations such as provisioning and resizing, intermittently over about 2 days; customer clusters and data were not affected
영향 사용자
MongoDB Atlas and Cloud Manager customers
지역
–
감지까지
–
복구까지
–

증상

MongoDB Atlas 와 Cloud Manager 에서 지표 수집 파이프라인이 늦어졌고, Atlas 대시보드의 지표가 늦거나 빠졌다. Host Down 알림이 울리지 않았고, 프로비저닝과 크기 조정 같은 Atlas 클러스터 관리 작업이 늦어졌다.

영향은 약 이틀 동안 간헐적으로 나타났다. 고객 클러스터의 상태, 가용성, 데이터 무결성은 영향을 받지 않았다.

처음 조사에서는 내부 백엔드 데이터베이스 클러스터의 샤드 하나에서 자원 사용량이 높은 것이 보였다. 더 살펴보니 트래픽이 많은데 샤딩하지 않은 컬렉션이 그 샤드에 몰려 있었고, 전체 컬렉션 스캔 같은 비효율적인 쿼리가 부하를 키우고 있었다.

증상 모니터링 중단데이터베이스 과부하부하 불균형

원인

원인 용량 한계

구성 요소 데이터베이스
기여 요인 비효율적인 쿼리여유 용량 부재
촉발
새 내부 소프트웨어 버전을 롤아웃하는 동안 자원 사용량이 일시적으로 치솟아, 이미 부하가 몰려 있던 샤드의 부하가 예상한 한도를 넘었다.

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.