사례1건

1건 중 1~1번째

1. IL-0355 Google Cloud 위의 Railway 에지 서버로 들어오는 트래픽이 약 10분 동안 모두 막혔다

   Railway2024

   증상

   Google Cloud 에 있는 Railway 에지 서버가 들어오는 요청을 애플리케이션으로 보내지 못했다. 모든 리전에서 Google Cloud 로 들어오는 트래픽이 약 10분 동안 끊겼다.

   서비스 중단

   촉발

   Railway 엔지니어가 오래된 정적 차단 IP 목록을 비우려고 배열을 빈 값으로 바꾼 Terraform 변경을 머지했다. Google Cloud 방화벽 규칙에서 출발지 IP 범위가 사라져 규칙이 모든 IP 를 막게 됐다.

   원인

   설정 변경

   구성 요소

   TerraformVPC 라우팅 테이블과 방화벽 규칙

   기여 요인

   미검증 가정

   감지

   변경을 머지하고 2분 뒤인 UTC 오전 12시 49분에 자동 알림이 Railway 엔지니어에게 갔다. 이 알림은 변경을 머지한 엔지니어가 아니라 온콜 당번을 깨웠다.

   조치

   • 먼저 되돌리고 원인은 나중에 찾는다는 정책에 따라 UTC 오전 12시 54분에 변경을 되돌렸다.
   • 되돌린 변경을 UTC 오전 12시 58분에 적용했고, 12시 59분에 자동 모니터링이 정상으로 돌아왔다.

   후속 조치

   • 알림이 더 빨리 닿도록 변경을 머지할 때 "page override" 를 자동으로 건다.
   • Terraform 으로 되돌릴 때는 plan 단계를 건너뛴다.
   • 문제가 된 방화벽 규칙을 안전하게 지운다.
   • 남은 옛 Google Cloud 방화벽 규칙 가운데 범위가 느슨하게 정해진 것이 있는지 모두 감사한다.
   • GCP 지원을 유지하면서 AWS 를 더하고 리전마다 여러 metal 데이터 센터에 투자해, 여러 종류의 컴퓨트를 지원하는 복원력 있는 인프라를 만든다. AWS 는 지금 일부 고객과 시험하고 있다.

   사례 보기

원인별1