IL-0396 Google Cloud · 2017-01-30gcpnetworking

새로 만들거나 라이브 마이그레이션한 GCE 인스턴스, Cloud VPN 터널, 네트워크 로드 밸런서가 2시간 8분 동안 공인 IP 주소로 연결되지 않았다

GCE 인스턴스, 로드 밸런서, VPN 터널로 들어오는 네트워크 트래픽은 모두 여러 자원이 함께 쓰는 layer 2 load balancer 를 지난다. 이 로드 밸런서에 자원의 IP 주소 변경을 넣으면, 먼저 canary 배포로 자동 시험하고 그다음 전 세계로 퍼뜨린다. 2017년 1월 30일 드물게 쓰는 로드 밸런싱 구성에 대량의 변경이 들어갔고, 이 변경이 비효율적인 코드 경로를 드러내 canary 가 타임아웃됐다. 그 뒤로 들어온 모든 공인 주소 변경은 시험 단계를 넘지 못한 이 변경이 끝나기를 기다리며 쌓였다. 그래서 그동안 만들거나 라이브 마이그레이션한 GCE 인스턴스, Cloud VPN 터널, GCE 네트워크 로드 밸런서는 공인 IP 주소로 닿을 수 없었고, 밖으로 나가는 트래픽과 로드 밸런싱 헬스 체크도 실패했다.

엔지니어는 네트워크 로드 밸런서에 변경을 반영하는 작업을 재시작했다. 재시작 뒤 문제의 변경은 한 묶음으로 처리되면서 비효율적인 코드 경로를 타지 않았고, 변경이 다시 처리되면서 트래픽이 정상으로 돌아왔다. 이 조치는 11:36 부터 12:42 까지 존마다 차례로 적용됐다. 2월 8일에 올린 보고서 본문은 영향 시간을 10:36 부터 12:42 PDT 까지 2시간 8분으로 적었다. 반면 상태 페이지 맨 위의 사고 정보에는 사고가 10:54 에 시작해 12:50 에 끝났다고 적혀 있었다.

심각도: –
영향 범위: GCE instances, Cloud VPN tunnels and GCE network load balancers created or live migrated between 10:36 and 12:42 PDT were unreachable on public IPs and could not send outbound traffic; existing resources were unaffected
영향 사용자: –
지역: all GCE regions; europe-west1 was the last to clear
감지까지: –
복구까지: 2h 8m

증상

2017년 1월 30일 새로 만든 GCE 인스턴스에 네트워크 연결이 되지 않았다. 라이브 마이그레이션 중인 인스턴스, 새로 만든 Cloud VPN 터널과 GCE 네트워크 로드 밸런서도 공인 IP 주소로 닿을 수 없었다. 이미 만들어져 있고 라이브 마이그레이션을 겪지 않은 인스턴스, 로드 밸런서, VPN 터널은 영향이 없었다.

영향을 받은 인스턴스는 밖으로 나가는 트래픽도 보내지 못했고, 로드 밸런싱 헬스 체크도 통과하지 못했다.

상태 페이지는 11:13 에 조사 중이라고 처음 알렸다. 11:40 에는 문제가 10:54 에 시작됐고 완화 작업 중이라고 알렸다. 12:07 에는 대부분의 GCE 리전에서 완화됐다고 했다. 12:40 에는 europe-west1 을 뺀 모든 리전에서 완화됐지만 새 VPN 은 아직 영향을 받는다고 했다. 마지막 공지는 새 인스턴스는 12:45 에, VPN 은 12:50 에 완전히 완화됐다고 했다.

증상 네트워크 도달 불가 프로브 실패