사례1건

1건 중 1~1번째

1. IL-0531 West US 의 Azure Database for MySQL Single Server 와 MariaDB 일부 서버로 가는 새 연결이 모두 거부됐다

   Microsoft Azure2024

   증상

   West US 리전에서 Azure Database for MySQL - Single Server 와 Azure Database for MariaDB 의 일부 고객은 데이터베이스로 가는 연결이 모두 실패했고, 재시도해도 성공하지 못했다. 데이터베이스 자체는 정상이었지만 연결이 하나도 맺어지지 않았다.

   서비스 중단간헐적 타임아웃

   촉발

   계획된 게이트웨이 하드웨어 교체 작업에서 2024-04-19 04:26 UTC 에 Azure Database for MySQL 과 MariaDB 서버 한 묶음의 DNS 를 바꿨다. 절차상의 실수로 새 연결이 설정이 덜 끝난 새 게이트웨이 링으로 보내졌다.

   원인

   운영 실수

   구성 요소

   데이터베이스DNS 서버와 레코드

   기여 요인

   모니터링 사각지대

   감지

   새 게이트웨이 링에 텔레메트리와 모니터링이 없어 서비스 텔레메트리는 실패를 잡지 못했다. MySQL 팀은 04:46 UTC 에 Azure Databricks 가 여러 데이터베이스에 닿을 수 없다고 알려 와서 장애를 알았다.

   조치

   • 07:30 UTC 에 변경을 완전히 롤백했고, 검증을 거쳐 모든 연결을 정상 동작하던 이전 게이트웨이 링으로 되돌렸다.

   후속 조치

   • MySQL 엔지니어링 팀은 운영 게이트웨이 링을 전환하기 전에 점검, 테스트, 승인 절차를 더한다. 2024년 5월에 마칠 예정이다.
   • Azure Databricks 엔지니어링 팀은 짧은 시간 안에 여러 데이터베이스를 쓸 수 없게 되는 상황을 잡는 알림을 만든다. 2024년 5월에 마칠 예정이다.

   사례 보기

원인별1