사례1건

1건 중 1~1번째

1. IL-0243 Google External Proxy Load Balancing 뒤의 HTTP/S 엔드포인트가 전 세계에서 Google 404 오류를 냈다

   Google Cloud2021

   증상

   2021년 11월 16일 09:35 PT 부터 Google External Proxy Load Balancing, 줄여서 GCLB 를 쓰는 고객의 HTTP/S 요청이 Google 404 오류를 받았다. 전역 GCLB 로드 밸런서가 서비스하는 엔드포인트 대부분이 웹 페이지 대신 404 오류 페이지를 냈다.

   서비스 중단오류율 상승

   촉발

   고객 설정 규칙을 GCLB 로 전파하는 설정 파이프라인에 경쟁 상태가 있었다. 이 경쟁 상태를 없애는 패치 A 가 아직 배포되지 않은 클러스터에서 경쟁 상태가 실제로 일어나, 손상된 설정 파일이 GCLB 로 올라갔다.

   원인

   소프트웨어 결함

   구성 요소

   클라우드 로드 밸런서서버리스 함수 플랫폼

   기여 요인

   미패치 알려진 버그과도한 영향 범위

   감지

   09:50 PT 에 자동 알림이 엔지니어들에게 울렸고, 같은 시각 고객 지원 요청도 들어오기 시작했다.

   조치

   • 09:50 PT 부터 마지막으로 정상이던 설정으로 롤백했고, 10:08 PT 에 롤백이 끝나 404 오류가 멈췄다.
   • 재발 위험을 피하려고 고객이 요청하는 GCLB 설정 변경을 멈췄다. 이 때문에 10:04 PT 부터 11:28 PT 까지 고객은 로드 밸런싱 설정을 바꿀 수 없었다.
   • 변경을 멈춘 동안 재발을 막는 수정을 검증했고, 서비스를 안전하게 다시 열 수 있도록 감독과 모니터링을 더했다.
   • 11:28 PT 에 고객 설정 배포를 다시 열었고 서비스가 정상으로 돌아왔다.

   후속 조치

   • 비슷한 문제를 훨씬 빨리 알려 주는 알림을 곧바로 더했다.
   • 설정을 적용하기 전에 설정이 올바른지 자동으로 검사하는 안전장치를 강화한다.
   • 이런 문제를 격리하고 해결하는 방식을 개선하려고 이미 계획해 둔 아키텍처 변경을 앞당긴다.

   사례 보기

원인별1