Incident Library

IL-0463 Harness · 2026-05-12kubernetesgcpnetworking

Harness Secure Connect 의 내부 로드 밸런서에 닿을 수 없게 되어 Secure Connect 를 쓰는 git 커넥터 검사와 CI 파이프라인이 실패했다

2026-05-12 에 Harness 의 Secure Connect 서비스가 크게 끊겨, Secure Connect 로 git 커넥터 검사와 CI 파이프라인을 돌리던 고객이 연결 타임아웃과 실패를 겪었다. Secure Connect 의 내부 FRPS, 곧 Fast Reverse Proxy Server 인프라를 돌리는 GKE 클러스터에서 컨트롤 플레인 자동 업그레이드가 두 단계로 빠르게 이어서 실행됐다. 단계마다 쿠버네티스 LoadBalancer 서비스의 IP 주소 수명을 관리하는 GKE 클라우드 컨트롤러 매니저가 재시작됐다. 이 컨트롤러는 재시작할 때 정상 조정 과정으로 IP 주소 예약을 지웠다가 다시 넣는다. 첫 조정이 끝나기 전에 두 번째 단계가 시작되면서 경쟁 상태가 생겼고, 컨트롤러는 내부 FRPS 로드 밸런서의 IP 예약을 지운 뒤 다시 잡기 전에 중단됐다. 그 결과 로드 밸런서에 닿을 수 없게 됐다. Harness 애플리케이션 배포는 원인도 아니고 피해를 키우지도 않았다.

Harness 는 FRPS 디플로이먼트를 롤아웃 재시작해 클라이언트 연결을 되살렸지만 IP 문제는 남았다. 내부 쿠버네티스 서비스 frps-internal 을 지우고 다시 만들어 GKE 가 새 IP 로 새 로드 밸런서를 만들게 했고, Cloud DNS A 레코드를 새 IP 로 바꿔 Secure Connect 트래픽의 경로를 처음부터 끝까지 되살렸다. 내부 테스트와 영향받은 고객이 연결을 확인했다. 상태 페이지 기준으로 14:38 PDT 에 조사를 시작해 14:40 에 원인을 찾았고, 15:50 에 수정을 적용해 지켜보다가 16:10 에 해결로 닫았다.

심각도
–
영향 범위
Secure Connect-enabled git connector tests and CI pipelines (Continuous Integration Enterprise Mac and Linux Cloud Builds in Prod 1, Prod 2 and Prod 3); connectors without Secure Connect were unaffected
영향 사용자
Harness customers using Secure Connect
지역
–
감지까지
–
복구까지
–

증상

Secure Connect 를 켠 커넥터를 쓰려던 고객이 연결 타임아웃과 실패를 겪었다. Secure Connect 를 켠 git 커넥터 테스트가 연결 타임아웃으로 실패했고, Secure Connect 를 켠 CI 파이프라인은 멈추거나 실패했다. Secure Connect 없이 도는 커넥터는 정상이었다.

영향은 Prod 1, Prod 2, Prod 3 의 Continuous Integration Enterprise(CIE) - Mac Cloud Builds 와 Continuous Integration Enterprise(CIE) - Linux Cloud Builds 에 미쳤다. 상태 페이지에는 2026-05-12 14:38 PDT 에 조사 중으로 처음 올라왔다.

FRPS 디플로이먼트를 롤아웃 재시작하자 클라이언트가 FRPS 서버에 다시 연결됐지만, 근본 문제인 IP 예약이 사라진 상태는 그대로였다.

증상 네트워크 도달 불가리소스 삭제

원인

원인 클라우드 제공자 장애

구성 요소 GKE 컨트롤 플레인클라우드 컨트롤러 매니저클라우드 로드 밸런서
기여 요인 –
촉발
Secure Connect 의 내부 FRPS 인프라를 돌리는 GKE 클러스터에서 컨트롤 플레인 자동 업그레이드가 두 단계로 잇달아 실행됐고, 단계마다 GKE 클라우드 컨트롤러 매니저가 재시작됐다.

감지

–

조치

후속 조치

–

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: GKE 컨트롤 플레인, 클라우드 컨트롤러 매니저, 클라우드 로드 밸런서. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.