Incident Library

IL-0543 Twingate · 2025-05-28networking

Twingate 의 인증과 관리 서비스 전반이 29분 동안 오류를 내며 멈췄다

2025년 5월 28일 Twingate 는 글로벌 로드 밸런서의 라우팅 규칙을 바꾸는 롤아웃을 했다. 이 롤아웃에 들어간 새 라우팅 규칙이 의도치 않게 높은 우선순위를 받아 API 트래픽 대부분이 백엔드 하나로 향했다. 이 백엔드 서비스는 몰린 트래픽을 감당하지 못했고 API 실패가 넓게 퍼졌다. 하위 환경은 트래픽이 적어 이 문제를 드러내지 못했다.

20:45 UTC 에 시작된 장애는 20:48 UTC 에 감지됐고, 20:52 UTC 에 롤백을 시작했다. 21:05 UTC 에 자동 롤백 과정이 지연됐다. 복구에 쓰는 인프라가 영향을 받은 구성 요소에 기대고 있었기 때문이다. 21:09 UTC 에 엔지니어들이 로컬 도구로 직접 고쳤고, 21:14 UTC 에 서비스가 모두 복구됐다. 장애는 약 29분 이어졌다.

심각도
–
영향 범위
Control plane services (authentication, MFA, authorization, Connector Heartbeat) and management plane services (Identity Provider Sync, Public API, Admin Console, Real-Time Updates, Client Log Upload, 3rd Party Integrations, network and DNS filtering dashboards)
영향 사용자
–
지역
–
감지까지
3m
복구까지
29m

증상

2025년 5월 28일 20:45 UTC 부터 Twingate 의 여러 핵심 서비스에서 API 요청이 넓게 실패하고 오류율이 올라갔다. 장애는 3분 뒤인 20:48 UTC 에 감지됐다.

API 트래픽 대부분이 백엔드 하나로 향했고, 그 백엔드 서비스가 몰린 트래픽을 감당하지 못했다. 영향을 받은 것은 컨트롤 플레인의 Authentication Enterprise 와 Social, MFA, Authorization, Connector Heartbeat 였고, 관리 플레인의 Identity Provider Sync, Public API, Admin Console, Real-Time Updates, Client Log Upload, 3rd Party Integrations, Network Dashboards, DNS Filtering Dashboards 였다.

20:52 UTC 에 롤백을 시작했지만 21:05 UTC 에 자동 롤백 과정이 지연됐다. 복구에 쓰는 인프라가 영향을 받은 구성 요소에 기대고 있었기 때문이다.

증상 요청 오라우팅부하 불균형오류율 상승

원인

원인 설정 변경

구성 요소 클라우드 로드 밸런서
기여 요인 스테이징 불일치순환 의존
촉발
글로벌 로드 밸런서의 라우팅 규칙을 바꾸는 롤아웃에서 새 라우팅 규칙이 의도치 않게 높은 우선순위를 받았다.

감지

장애가 시작되고 3분 뒤인 20:48 UTC 에 감지됐고, 엔지니어들이 원인 파악과 초기 대응을 시작했다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 클라우드 로드 밸런서. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.