사례2건

2건 중 1~2번째

1. IL-0543 Twingate 의 인증과 관리 서비스 전반이 29분 동안 오류를 내며 멈췄다

   Twingate2025

   증상

   2025년 5월 28일 20:45 UTC 부터 Twingate 의 여러 핵심 서비스에서 API 요청이 넓게 실패하고 오류율이 올라갔다. 장애는 3분 뒤인 20:48 UTC 에 감지됐다.

   요청 오라우팅부하 불균형오류율 상승

   촉발

   글로벌 로드 밸런서의 라우팅 규칙을 바꾸는 롤아웃에서 새 라우팅 규칙이 의도치 않게 높은 우선순위를 받았다.

   원인

   설정 변경

   구성 요소

   클라우드 로드 밸런서

   기여 요인

   스테이징 불일치순환 의존

   감지

   장애가 시작되고 3분 뒤인 20:48 UTC 에 감지됐고, 엔지니어들이 원인 파악과 초기 대응을 시작했다.

   조치

   • 20:52 UTC 에 라우팅 변경의 롤백을 시작했지만, 복구에 쓰는 인프라가 영향을 받은 구성 요소에 기대고 있어서 21:05 UTC 에 자동 롤백 과정이 지연됐다.
   • 21:09 UTC 에 엔지니어들이 로컬 도구로 직접 고쳤고, 21:14 UTC 에 서비스가 모두 복구됐다.

   후속 조치

   • 라우팅 규칙을 바로잡았다.
   • 하위 환경에서 백엔드 트래픽 이상을 감지하는 알림을 더했다.
   • 리소스 스케일링 임계값을 조정했다.
   • 복구 수단을 더 빨리 쓸 수 있도록 인프라 도구가 서비스에 기대지 않게 떼어 낸다.
   • 백엔드 샤딩을 도입해 고객 워크로드를 서로 격리하고 장애의 영향을 줄인다.

   사례 보기
2. IL-0272 Cassandra 에 새로 넣은 서버가 데이터 없이 읽기와 쓰기를 맡아 데이터가 사라진 것처럼 보이면서 Monzo 의 로그인과 결제가 실패했다

   Monzo2019

   증상

   2019년 7월 29일 13:14 BST 에 Mastercard 카드 거래 일부가 실패한다는 자동 알림이 울렸다. 같은 시각 고객 응대 팀이 고객과 소통하는 도구가 제대로 동작하지 않아 앱 채팅으로 고객을 도울 수 없다고 알려 왔다.

   데이터 저장소 읽기 불일치오류율 상승

   촉발

   2019년 7월 29일 13:10 BST 에 Cassandra 클러스터에 새 서버 여섯 대를 넣었다. 운영 환경의 auto_bootstrap 플래그는 false 였다.

   원인

   설정 변경

   구성 요소

   데이터베이스

   기여 요인

   미검증 가정스테이징 불일치모니터링 사각지대과도한 영향 범위순환 의존

   감지

   13:14 BST 에 Mastercard 카드 거래 일부가 실패한다는 자동 알림이 울렸고, 같은 시각 고객 응대 팀이 고객 소통 도구가 동작하지 않는다고 알려 왔다.

   조치

   • 계획해 둔 대체 배포 방법으로 Mastercard 서비스의 수정을 배포했다.
   • 새 Cassandra 서버를 한 대씩 빼서 데이터 담당을 원래 서버로 안전하게 되돌렸다.
   • 새 서버 여섯 대가 읽기와 쓰기를 처리하는 동안 쓰인 데이터를, 외부에 저장한 이벤트를 재생하고 내부 정합성 확인 작업을 돌려 바로잡았다.

   후속 조치

   • auto_bootstrap 설정을 바로잡았다.
   • Cassandra 의 다른 설정을 두고 내린 결정을 모두 검토하고 문서로 남겨, 확장이나 재시작 같은 작업의 런북을 늘렸다.
   • 더 많은 지표를 드러내고, 'row not found' 같은 지표가 크게 바뀌면 알림을 보내는 방안을 검토한다.
   • 장기적으로 큰 Cassandra 클러스터 하나를 작은 클러스터 여러 개로 나눈다.

   교훈

   Monzo 는 Cassandra 운영 지식에 빈틈이 있었다. 롤링 재시작이나 서버 업그레이드는 자주 했지만 서버 추가는 드물었다. 시험 환경에서는 운영과 같은 규모로 시험하지 않아 여섯 대 대신 한 대로 시험했고, 쿼럼을 고려하지 못했다. Cassandra 가 원인임을 보여 주는 지표가 없어 대응이 늦었다. 클러스터 하나로 모든 서비스를 돌리면 변경 하나의 영향이 넓고 장애 원인을 짚기도 어렵다. 이번에는 첫 알림부터 Cassandra 를 원인으로 짚기까지 거의 한 시간이 걸렸다.

   사례 보기

원인별1