사례2건

2건 중 1~2번째

1. IL-0287 Atlas 와 Cloud Manager 의 모니터링을 받치는 내부 데이터베이스 클러스터의 샤드 하나가 과부하되어 지표 수집과 클러스터 작업이 늦어졌다

   MongoDB2025

   증상

   MongoDB Atlas 와 Cloud Manager 에서 지표 수집 파이프라인이 늦어졌고, Atlas 대시보드의 지표가 늦거나 빠졌다. Host Down 알림이 울리지 않았고, 프로비저닝과 크기 조정 같은 Atlas 클러스터 관리 작업이 늦어졌다.

   모니터링 중단데이터베이스 과부하부하 불균형

   촉발

   새 내부 소프트웨어 버전을 롤아웃하는 동안 자원 사용량이 일시적으로 치솟아, 이미 부하가 몰려 있던 샤드의 부하가 예상한 한도를 넘었다.

   원인

   용량 한계

   구성 요소

   데이터베이스

   기여 요인

   비효율적인 쿼리여유 용량 부재

   조치

   • 원인을 찾아 바로잡는 조치를 하고 그 효과를 지켜봤다. 그동안 Host Down 알림, 지표, 일부 Atlas 클러스터 작업은 계속 늦거나 빠질 수 있었다.
   • 수정을 적용하고 결과를 지켜봤으며, 이후 장애가 해결됐다.

   후속 조치

   • 부하가 몰리는 컬렉션을 샤딩해 트래픽을 여러 노드에 고르게 나누고 샤드 하나에 몰리는 부하를 던다.
   • 비효율적인 쿼리를 최적화해 자원 사용을 개선하고 평소 작업의 지연을 줄인다.
   • 늘어난 트래픽을 감당하도록 인프라 용량을 더 확보했다.
   • 앞으로의 부하 급증을 미리 내다보도록 용량 계획 절차를 다듬는다.
   • 롤아웃 중 예상할 수 있는 자원 수요 증가를 감안하도록 새 소프트웨어 버전 배포 절차를 다시 설계한다.
   • 엔지니어링 팀이 샤딩 전략과 쿼리 최적화의 성능을 계속 지켜보며 핫스팟이 제대로 풀렸는지 확인한다.
   • 높은 부하 상태를 감지하는 피드백 장치를 넓혀 이상을 더 빨리 찾고 대응한다.

   사례 보기
2. IL-0375 MongoDB Atlas 컨트롤 플레인이 느려져 모든 상용 리전에서 클러스터 변경과 알림이 몇 시간씩 늦었다

   MongoDB2024

   증상

   MongoDB Atlas 의 모든 상용 리전에서 클러스터 설정 변경이 몇 분에서 몇 시간까지 늦게 실행됐다. 상태 페이지는 2024년 6월 3일 18:45 UTC 에 모든 클라우드 제공자에서 모든 클러스터 업데이트가 늦어지는 문제를 조사한다고 알렸다.

   컨트롤 플레인 지연모니터링 중단데이터베이스 과부하

   촉발

   Atlas 컨트롤 플레인을 받치는 내부 워크플로 관리 시스템의 메타데이터를 옮기는 계획된 마이그레이션에서 트래픽을 대상 데이터베이스 클러스터로 돌렸다.

   원인

   용량 한계

   구성 요소

   데이터베이스

   기여 요인

   스테이징 불일치롤백 무효

   조치

   • 마이그레이션을 롤백하면서 원본과 대상 데이터베이스의 데이터를 맞추는 복잡한 조정 작업을 했다.
   • 6월 4일 00:09 UTC 에 복구 절차를 마치고 상태를 가까이 지켜봤다.

   후속 조치

   • 앞으로의 유지보수에 쓸 새 메타데이터 마이그레이션 전략을 설계한다. 이 절차는 문제 가능성을 알아챈 뒤 15분 안에 롤백할 수 있게 한다.
   • 이 절차를 구현하고 충분히 시험하기 전에는 비슷한 유지보수를 하지 않는다.

   사례 보기

원인별1