사례2건

2건 중 1~2번째

1. IL-0528 Cloud Pub/Sub 가 여러 리전에서 게시와 구독을 모두 못 했고 순서 지정 구독 일부는 그날 밤까지 메시지를 받지 못했다

   Google Cloud2025

   증상

   여러 리전에서 Cloud Pub/Sub 에 메시지를 게시할 수도, 구독할 수도 없었다. 백로그 지표는 오래된 값이거나 아예 비어 있을 수 있었다. 상태 페이지의 제목은 "Multiple regions completely blocked for subscribe for Pubsub" 였다.

   서비스 중단모니터링 중단

   촉발

   미국 태평양 시간 06:54 부터 07:30 사이에 잘못된 서비스 설정 변경이 여러 리전에 배포됐다. 이 변경은 리전 메타데이터 데이터베이스에 접근하는 권한을 의도치 않게 지나치게 좁혔다.

   원인

   설정 변경

   구성 요소

   메시지 브로커데이터베이스

   기여 요인

   스테이징 불일치단계적 배포 부재롤백 무효

   감지

   엔지니어들은 영향이 시작되고 9분 뒤인 미국 태평양 시간 07:03 에 내부 텔레메트리로 장애 알림을 받았다. 순서 지정 구독 일부가 백로그를 소비하지 못하는 문제는 09:07 에 역시 내부 텔레메트리 알림으로 알았다.

   조치

   • 문제를 일으킨 설정 변경을 찾아 미국 태평양 시간 08:07 에 롤백을 마쳤다.
   • 영향을 받은 순서 지정 구독을 모두 찾아 고쳤고, 이 작업을 미국 태평양 시간 23:09 에 마쳤다.

   후속 조치

   • 설정 변경의 영향을 운영 환경에 닿기 전에 잡을 수 있도록 사전 운영 환경과 운영 환경의 설정을 같게 맞추는 규칙을 더 강하게 적용한다. 목표일은 2025년 1월 31일이다.
   • 변경 관리 절차를 검토해 앞으로 설정 변경이 우선순위에 맞춰 단계적으로 배포되게 한다. 목표일은 2025년 1월 31일이다.
   • 순서 메타데이터의 불일치를 미리 잡아내는 모니터링을 더한다. 목표일은 2025년 3월 31일이다.
   • 순서 지정 메시지가 전달되지 않게 만든 Cloud Pub/Sub 의 순서 메타데이터 관리 버그를 고친다. 목표일은 2025년 6월 30일이다.

   사례 보기
2. IL-0375 MongoDB Atlas 컨트롤 플레인이 느려져 모든 상용 리전에서 클러스터 변경과 알림이 몇 시간씩 늦었다

   MongoDB2024

   증상

   MongoDB Atlas 의 모든 상용 리전에서 클러스터 설정 변경이 몇 분에서 몇 시간까지 늦게 실행됐다. 상태 페이지는 2024년 6월 3일 18:45 UTC 에 모든 클라우드 제공자에서 모든 클러스터 업데이트가 늦어지는 문제를 조사한다고 알렸다.

   컨트롤 플레인 지연모니터링 중단데이터베이스 과부하

   촉발

   Atlas 컨트롤 플레인을 받치는 내부 워크플로 관리 시스템의 메타데이터를 옮기는 계획된 마이그레이션에서 트래픽을 대상 데이터베이스 클러스터로 돌렸다.

   원인

   용량 한계

   구성 요소

   데이터베이스

   기여 요인

   스테이징 불일치롤백 무효

   조치

   • 마이그레이션을 롤백하면서 원본과 대상 데이터베이스의 데이터를 맞추는 복잡한 조정 작업을 했다.
   • 6월 4일 00:09 UTC 에 복구 절차를 마치고 상태를 가까이 지켜봤다.

   후속 조치

   • 앞으로의 유지보수에 쓸 새 메타데이터 마이그레이션 전략을 설계한다. 이 절차는 문제 가능성을 알아챈 뒤 15분 안에 롤백할 수 있게 한다.
   • 이 절차를 구현하고 충분히 시험하기 전에는 비슷한 유지보수를 하지 않는다.

   사례 보기

원인별2