IL-0375 MongoDB · 2024-06-03database

MongoDB Atlas 컨트롤 플레인이 느려져 모든 상용 리전에서 클러스터 변경과 알림이 몇 시간씩 늦었다

2024년 6월 3일 18:24 UTC 부터 6월 4일 1:21 UTC 까지 모든 상용 리전의 MongoDB Atlas 고객이 여러 기능 저하를 겪었다. MongoDB 는 Atlas 내부 유지보수로 컨트롤 플레인을 받치는 내부 워크플로 관리 시스템의 메타데이터를 옮기는 계획된 마이그레이션을 하고 있었다. 트래픽을 대상 데이터베이스 클러스터로 돌리자 그 클러스터에 예상하지 못한 자원 혼잡이 생겼다. 이 문제는 프로덕션 전 시험에서는 나타나지 않았다. 이 혼잡 때문에 API 호출과 자동 트리거로 낸 클러스터 설정 변경이 몇 분에서 몇 시간 늦게 실행됐고, 알림 처리도 늦었다. 세밀한 단위의 클러스터 지표와 Data Explorer, Real-Time Performance Panel 이 몇 시간 동안 제대로 동작하지 않았다. 롤백에는 원본과 대상 데이터베이스의 데이터를 맞추는 복잡한 조정 작업이 필요해 복구가 늦어졌다. 21:31 UTC 에 근본 원인을 찾아 복구 절차를 시작했고, 6월 4일 00:09 UTC 에 복구 절차를 마쳤다.

심각도: –
영향 범위: Atlas cluster configuration changes from the API and automated triggers, alert processing and integrations, lower-granularity cluster metrics, Data Explorer, Real-Time Performance Panel and daily cost tabulation
영향 사용자: MongoDB Atlas customers
지역: All commercial regions
감지까지: –
복구까지: 6h 57m

증상

MongoDB Atlas 의 모든 상용 리전에서 클러스터 설정 변경이 몇 분에서 몇 시간까지 늦게 실행됐다. 상태 페이지는 2024년 6월 3일 18:45 UTC 에 모든 클라우드 제공자에서 모든 클러스터 업데이트가 늦어지는 문제를 조사한다고 알렸다.

API 호출로 낸 변경뿐 아니라 자동 확장, 노드 교체 같은 자동 트리거도 늦었다. 알림 처리도 비슷하게 늦어 Atlas 내장 알림과 Datadog, PagerDuty 연동이 영향을 받았다.

Data Explorer 는 늦거나 응답하지 않았고, Real-Time Performance Panel 의 일부 작업이 동작하지 않았다. 최근 시간대의 세밀한 단위의 클러스터 지표를 볼 수 없었고, 이 지표는 6월 4일 1:56 UTC 까지 돌아오지 않았다. 6월 3일 컴퓨트, 스토리지, 데이터 전송의 일일 비용 집계 일부는 6월 6일이나 7일로 미뤄졌다.

21:31 UTC 에 근본 원인을 찾아 복구 절차를 시작했다. 22:11 UTC 에 Data Explorer 와 Real Time Performance Panel 은 정상으로 돌아왔지만 클러스터 작업은 여전히 늦었다. 23:07 UTC 공지는 18:45 UTC 에서 21:55 UTC 사이에 낸 클러스터 작업이 계속 늦거나 뒤따르는 변경을 늦출 수 있다고 했다. 6월 4일 00:09 UTC 에 복구 절차가 끝났다.

증상 컨트롤 플레인 지연 모니터링 중단 데이터베이스 과부하