IL-0278 Redis · 2016-02-08databasegcp

주간 소프트웨어 업데이트 뒤 GCP 의 Redis Cloud 클러스터 노드 대부분이 동시에 응답하지 않아 그 클러스터의 데이터베이스가 내려갔다

Redis Cloud 클러스터는 베어메탈이나 가상 서버 위에 클러스터 도구를 배포해 만들고, 클러스터 하나가 여러 데이터베이스를 격리된 채로 올린다. 클러스터는 노드 하나의 장애는 서비스 중단 없이 견딘다. 2월 8일 10:30 UTC 에 DevOps 팀이 서비스에 영향을 주지 않는 클러스터 구성 요소의 주간 업그레이드를 시작했다. 업그레이드는 한 클러스터에 먼저 배포해 정상성과 안정성을 시험한 뒤 클러스터 하나씩, 클라우드 하나씩 넓혀 간다.

17:30 UTC 에 업그레이드가 GCP 클러스터 us-central1-1-1.gce.garantiadata.com 에 배포되자, 업데이트에 들어 있던 버그로 클러스터 관리 프로세스 하나가 자원을 많이 쓰는 무한 루프에 갇혔고 서버가 응답하지 않게 됐다. 17:41 에 첫 노드가 죽었을 때는 자동 장애 조치가 성공했지만, 17:45 에 노드 네 대가 더 응답하지 않았다. 노드의 과반이 죽어 자동 복구가 불가능했고 팀은 수동 복구에 들어갔다.

팀은 클러스터의 모든 노드를 내려 종료하고, 클러스터의 엔드포인트를 DNS 영역에서 지우고, 주간 업데이트를 뺀 새 노드를 처음부터 만들었다. 원래 노드가 쓰던 저장소는 새 노드에 다시 붙였다. 영속성이 없는 데이터베이스는 띄우자마자 쓸 수 있었고, 영속성이 있는 데이터베이스는 띄운 뒤 저장소에서 메모리로 복구했다. 큰 데이터베이스일수록 복구가 오래 걸렸다. 복구 중에 DNS 제공자가 도구의 삭제 요청을 스로틀링했다. 도구가 스로틀링된 요청을 제대로 재시도하지 못해 DNS 항목을 손으로 지워야 했고, 그만큼 장애가 길어졌다. 19:30 UTC 에 영향받은 사용자 가운데 95% 를 넘는 사용자가 돌아왔고, 20:38 UTC 에 가장 큰 마지막 데이터베이스가 복구돼 서비스가 완전히 정상이 됐다.

심각도

–

영향 범위

Redis Cloud databases on the GCP cluster us-central1-1-1.gce.garantiadata.com were unavailable; over 95% of affected users were back by 19:30 UTC and all by 20:38 UTC

영향 사용자

Redis Cloud users with databases endpoints ending in us-central1-1-1.gce.garantiadata.com

지역

us-central1

감지까지

–

복구까지

2h 53m