사례5건

5건 중 1~5번째

1. IL-0355 Google Cloud 위의 Railway 에지 서버로 들어오는 트래픽이 약 10분 동안 모두 막혔다

   Railway2024

   증상

   Google Cloud 에 있는 Railway 에지 서버가 들어오는 요청을 애플리케이션으로 보내지 못했다. 모든 리전에서 Google Cloud 로 들어오는 트래픽이 약 10분 동안 끊겼다.

   서비스 중단

   촉발

   Railway 엔지니어가 오래된 정적 차단 IP 목록을 비우려고 배열을 빈 값으로 바꾼 Terraform 변경을 머지했다. Google Cloud 방화벽 규칙에서 출발지 IP 범위가 사라져 규칙이 모든 IP 를 막게 됐다.

   원인

   설정 변경

   구성 요소

   TerraformVPC 라우팅 테이블과 방화벽 규칙

   기여 요인

   미검증 가정

   감지

   변경을 머지하고 2분 뒤인 UTC 오전 12시 49분에 자동 알림이 Railway 엔지니어에게 갔다. 이 알림은 변경을 머지한 엔지니어가 아니라 온콜 당번을 깨웠다.

   조치

   • 먼저 되돌리고 원인은 나중에 찾는다는 정책에 따라 UTC 오전 12시 54분에 변경을 되돌렸다.
   • 되돌린 변경을 UTC 오전 12시 58분에 적용했고, 12시 59분에 자동 모니터링이 정상으로 돌아왔다.

   후속 조치

   • 알림이 더 빨리 닿도록 변경을 머지할 때 "page override" 를 자동으로 건다.
   • Terraform 으로 되돌릴 때는 plan 단계를 건너뛴다.
   • 문제가 된 방화벽 규칙을 안전하게 지운다.
   • 남은 옛 Google Cloud 방화벽 규칙 가운데 범위가 느슨하게 정해진 것이 있는지 모두 감사한다.
   • GCP 지원을 유지하면서 AWS 를 더하고 리전마다 여러 metal 데이터 센터에 투자해, 여러 종류의 컴퓨트를 지원하는 복원력 있는 인프라를 만든다. AWS 는 지금 일부 고객과 시험하고 있다.

   사례 보기
2. IL-0244 EKS 서브넷의 라우팅 테이블 연결이 사라져 live 클러스터의 Cloud Platform 서비스에 접근할 수 없었다

   UK Ministry of Justice2024

   증상

   2024년 9월 20일 11:24 에 live 클러스터 서비스를 감시하는 Pingdom 에서 우선순위 높은 알림이 울렸고, 사용자들은 서비스 주소를 찾을 수 없다고 알려 왔다.

   서비스 중단네트워크 도달 불가리소스 삭제

   촉발

   11:21 에 infrastructure-vpc-live-1 파이프라인의 일시 정지를 풀자, 팀이 미처 알아보지 못한 채 대기열에 있던 PR 이 자동으로 실행돼 EKS 서브넷 라우팅 테이블 연결을 지웠다.

   원인

   운영 실수

   구성 요소

   TerraformCI 시스템VPC 라우팅 테이블과 방화벽 규칙

   기여 요인

   파괴적 변경 보호 장치 부재

   감지

   11:24 에 live 클러스터 서비스를 감시하는 Pingdom 이 Cloud Platform 팀에 우선순위 높은 알림을 보냈다. 11:26 부터는 사용자들이 #ask 채널에 서비스를 쓸 수 없다고 알려 왔다.

   조치

   • 11:32 에 Cloud Platform 팀이 로컬에서 terraform apply 를 다시 실행해 서브넷 라우팅 테이블 연결을 다시 만들었고, 서비스를 쓸 수 있게 됐다.

   후속 조치

   • 인프라 파이프라인을 멈추고 다시 켜는 절차를 검토하고 고쳐, 팀원 모두가 파이프라인을 멈추고 다시 켰을 때의 영향을 알게 한다.
   • 인프라를 손으로 고치는 동안 대기열의 PR 실행을 멈출 방법을 찾는다.
   • 인프라 파이프라인의 plan 작업과 apply 작업을 더 잘 격리할 방법을 찾는다.

   사례 보기
3. IL-0541 Twingate 의 us-east4 와 europe-west6 Relay 클러스터에 Client 와 Connector 가 접속하지 못했다

   Twingate2023

   증상

   Terraform 변경을 전 세계 Relay 클러스터에 적용하던 중 01:40 UTC 에 us-east4 와 europe-west6 두 클러스터의 연결 수가 줄어드는 것이 보였다. Client 와 Connector 는 두 클러스터를 찾을 수는 있었지만 접속할 수는 없어 교착 상태에 빠졌다.

   네트워크 도달 불가

   촉발

   2023년 2월 14일 01:00 UTC 에 Relay 클러스터 인프라에 스팟 인스턴스 스케일링을 넣는 Terraform 변경을 전 세계 모든 Relay 클러스터에 적용하기 시작했다. 적용에는 약 45분이 걸렸다.

   원인

   설정 변경

   구성 요소

   TerraformVPC 라우팅 테이블과 방화벽 규칙

   기여 요인

   스테이징 불일치단계적 배포 부재

   감지

   01:40 UTC 에 엔지니어들이 us-east4 와 europe-west6 두 클러스터의 연결 수가 줄어든 것을 보고 조사를 시작했다.

   조치

   • 02:04 UTC 에 영향을 받은 두 클러스터의 파드를 꺼서 Client 와 Connector 가 다음으로 가까운 Relay 클러스터로 다시 붙게 했다.
   • 03:30 UTC 에 Terraform 설정 오류를 고치고 영향을 받은 클러스터를 다시 배포했다.

   후속 조치

   • 스테이징 환경에 Relay 클러스터의 크기 차이와 설정 차이를 정확히 반영한다.
   • 기능 개발 브랜치에서 운영의 모든 설정 변형을 포함해 모든 환경의 Terraform plan 을 자동으로 만든다.
   • 필요한 네트워크 방화벽 태그가 없으면 Connector 와 Client 가 그 클러스터를 발견하지 못하도록 Relay 헬스 체크를 강화한다.
   • Relay 클러스터 인프라에 Terraform 으로 단계적 롤아웃을 하는 방법을 조사하고 도입한다.
   • 중기 계획으로 Connector 가 여러 클러스터에 연결할 수 있게 해 리전 단위의 Relay 클러스터 문제를 자동으로 처리한다.

   사례 보기
4. IL-0245 US-East 의 Acquia Cloud Enterprise 사이트들이 불안정해지고 멈췄다

   Acquia2019

   증상

   2019년 2월 7일 22:17 UTC 부터 US-East 에 있는 여러 고객의 Acquia Cloud Enterprise 사이트가 불안정해지거나 멈췄다.

   서비스 중단네트워크 도달 불가

   촉발

   표준 패키지에 없는 시스템 진단 정보를 모으려고 임시 파일 시스템을 설정하던 중, 사람의 실수로 US-East 공유 VPC 의 보안 그룹에서 규칙 하나가 지워졌다.

   원인

   운영 실수

   구성 요소

   VPC 라우팅 테이블과 방화벽 규칙인메모리 캐시

   기여 요인

   초기 신호 무시

   감지

   구성 드리프트 알림은 제대로 울렸다. 하지만 드리프트 오류를 다루는 절차 때문에 그 알림을 장애 시간을 줄일 만큼 제때 확인하지 못했다. 22:46 UTC 에 상태 페이지에 조사 중이라는 공지가 올라왔다.

   조치

   • 보안 그룹에서 지워진 규칙을 손으로 되살렸고, 23:25 UTC 에 장애가 끝났다.

   후속 조치

   • 관련된 모든 팀과 함께 내부 작업 절차를 고쳐 비슷한 일이 다시 일어나지 않게 한다.
   • VPC 보안 그룹의 구성 드리프트를 내부 팀에 더 빨리 알리는 장치를 더 만든다.

   사례 보기
5. IL-0519 AWS 보안 그룹 변경으로 cloud.gov PaaS 의 나가는 트래픽이 막혀 애플리케이션들이 멈췄다

   cloud.gov2016

   증상

   cloud.gov 에서 돌던 애플리케이션 가운데 의존하는 서비스에 접속하려고 밖으로 트래픽을 보내던 애플리케이션들은 그 트래픽이 막혀 쓸 수 없게 됐다. 한때는 cloud.gov 의 모든 애플리케이션이 멈췄다.

   네트워크 도달 불가서비스 중단

   촉발

   3월 8일 태평양 시간 오전 9시 28분에 Aquilent 의 외주 엔지니어가 AWS 의 보안 그룹 설정을 바꿔 cloud.gov PaaS 의 나가는 트래픽을 제한했다. 이 변경은 플랫폼의 ATO 를 받는 과정에서 하던 여러 변경 가운데 하나였다.

   원인

   설정 변경

   구성 요소

   VPC 라우팅 테이블과 방화벽 규칙

   기여 요인

   –

   조치

   • 애플리케이션마다 보안 그룹 예외를 더해 일부 애플리케이션을 되살렸다.
   • 결국 보안 그룹 변경을 롤백하기로 했고, 3월 9일 태평양 시간 오전 8시에 모든 애플리케이션이 돌아왔다.

   후속 조치

   • 보안 그룹 설정을 모두 버전 관리에 넣고, 풀 리퀘스트로 바뀔 내용을 보이게 하며 변경을 언제 적용할지 통제한다.
   • cloud.gov 에서 도는 애플리케이션을 모니터링하고, 애플리케이션이 기대대로 돌지 않으면 cloud.gov 팀이 알림을 받게 한다.
   • AWS 보안 그룹 대신 CF 보안 그룹을 쓰고, 이 규칙의 현재 상태를 cloud.gov 팀과 cloud.gov 를 쓰는 팀들이 볼 수 있게 한다.
   • 플랫폼에서 도는 애플리케이션마다 주요 연락 담당자에게 알릴 수 있는 알림 체계를 만든다.
   • 이런 변경을 실제와 더 가깝게 시험할 수 있도록 스테이징 환경을 더 정확하게 만든다.

   사례 보기

원인별2