Incident Library

IL-0542 Twingate · 2025-03-21kubernetesgcpnetworking

Twingate 의 인증과 인가 요청 일부에서 약 30분 동안 오류율이 올라갔다

Twingate 는 여러 GKE 클러스터를 Global Load Balancer 로 묶어 액티브-액티브로 운영한다. 2025년 3월 21일 한 클러스터에서 이상 동작이 보이자 엔지니어들은 시스템 전체를 지키려고 그 클러스터의 디플로이먼트를 미리 줄였다. 트래픽은 다른 클러스터로 옮겨 갔고, 주로 평소 부하가 가벼워 규모도 그만큼만 잡아 둔 클러스터가 받았다.

이 클러스터는 오토스케일링을 시작했지만 늘어난 트래픽에 오류율이 올라갔다. 서비스들의 재시도는 많은 요청을 성공시켰지만 전체 부하도 키웠다. 같은 때 이 클러스터에서는 클라우드 사업자가 시작한 업데이트 작업으로 파드가 재시작되고 용량이 줄었다. Twingate 는 클라우드 사업자 쪽의 이상 동작이 원인이었다고 밝혔다. 로드 밸런서 단에서 예상하지 못한 요청 타임아웃이 났고, 클러스터 업데이트 중에 클러스터가 불안정했다. 이 때문에 재시도 트래픽이 연쇄적으로 불어나 시스템 일부가 잠시 감당하지 못했다. Twingate 는 예상하지 못한 타임아웃 설정과 업데이트 중의 클러스터 동작을 클라우드 사업자와 함께 조사하고 있다고 적었다.

엔지니어들은 앞서 줄였던 클러스터에 용량을 다시 넣어 리전 사이의 트래픽을 다시 나눴고, 그 뒤 오류율과 재시도가 가라앉았다. 포스트모템은 영향 시간을 21:10 UTC 부터 21:41 UTC 까지로 적었다. 상태 페이지에는 20:10 UTC 에 조사를 시작한다는 글, 20:41 UTC 에 조치를 적용하고 지켜본다는 글, 21:13 UTC 에 해결됐다는 글이 차례로 올라왔다.

심각도
–
영향 범위
A subset of authentication and authorization requests to Twingate services; the status page lists Authentication (Enterprise and Social), MFA, Authorization, Connector Heartbeat and management services
영향 사용자
–
지역
–
감지까지
–
복구까지
31m

증상

Twingate 서비스로 가는 인증과 인가 요청 일부에서 오류율이 올라갔다. 처음에는 여러 GKE 클러스터 가운데 하나에서 이상 동작이 보였다.

그 클러스터의 디플로이먼트를 줄이자 트래픽이 다른 클러스터로 옮겨 갔고, 주로 평소 부하가 가벼워 규모도 그만큼만 잡아 둔 클러스터가 받았다. 이 클러스터는 예상대로 오토스케일링을 시작했지만 늘어난 트래픽 때문에 오류율이 올라갔고, 서비스들의 재시도가 전체 부하를 더 키웠다.

같은 때 이 클러스터에서는 클라우드 사업자가 시작한 업데이트 작업이 돌아 파드가 재시작되고 용량이 줄었다. 로드 밸런서 단에서는 예상하지 못한 요청 타임아웃이 났다.

상태 페이지는 영향 범위로 컨트롤 플레인의 Authentication - Enterprise, Authentication - Social, MFA, Authorization, Connector Heartbeat 와 관리 영역의 Identity Providers Sync, Public API, Admin Console, Realtime Updates, Client Log Upload, 3rd Party Integrations, Network Dashboards, DNS Filtering Dashboards 를 적었다.

증상 오류율 상승

원인

원인 클라우드 제공자 장애

구성 요소 클라우드 로드 밸런서GKE 컨트롤 플레인수평 파드 오토스케일러클러스터 오토스케일러
기여 요인 재시도 폭주여유 용량 부재장애 중첩수동 조치 악화
촉발
GKE 클러스터 하나에서 이상 동작이 보이자 시스템 전체를 지키려고 그 클러스터의 디플로이먼트를 미리 줄였고, 트래픽이 평소 부하가 가벼운 다른 클러스터로 옮겨 갔다.

감지

사고 초기에 엔지니어들이 GKE 클러스터 하나에서 이상 동작을 관찰했다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 클라우드 로드 밸런서, GKE 컨트롤 플레인, 수평 파드 오토스케일러. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.