사례1건

1건 중 1~1번째

1. IL-0293 us-central1 의 Cloud Bigtable 에서 지연과 연결 오류가 32시간 동안 이어졌다

   Google Cloud2023

   증상

   2023-12-04 19:50 US/Pacific 부터 us-central1 의 Cloud Bigtable 고객이 지연 증가와 낮은 수준의 연결 오류를 겪었다. 데이터플레인 요청의 약 0.06% 가 영향을 받았고, 자동 모니터링이 23:35 에 처음 잡아냈다.

   지연 시간 증가오류율 상승패킷 손실간헐적 연결 실패

   촉발

   Cloud Bigtable 서버를 돌리는 머신에 들어간 변경 하나 때문에 격리가 실패했다.

   원인

   배포 결함

   구성 요소

   데이터베이스

   기여 요인

   –

   감지

   2023-12-04 23:35 US/Pacific 에 자동 모니터링이 처음 잡아냈고 엔지니어가 바로 조사를 시작했다.

   조치

   • 12월 5일 14:40 에 영향받은 머신 일부에서 트래픽 일부를 다른 곳으로 돌려 영향을 일부 줄였다.
   • 격리 문제를 일으킨 변경을 찾아 롤백했고, 12월 6일 03:55 에 지연이 완전히 풀렸다.

   후속 조치

   • 같은 장애가 다시 나지 않도록 통제 장치를 둔다.

   사례 보기

원인별1