Incident Library

IL-0406 Google Cloud · 2026-02-27gcpai-infra

Vertex AI Gemini API 에서 1시간 58분 동안 모든 Gemini 모델에서 429·503 오류가 늘었다

모든 Gemini 모델이 쓰는 safety filtering 서비스에 설정 변경이 들어갔다. 이 변경으로 특정 요청이 새 코드 경로를 타게 됐고, 이 경로 때문에 결국 safety filtering 서비스가 멈추고 용량을 잃었다. 그 결과 2026년 2월 27일 04:37 US/Pacific 부터 Vertex AI Gemini API 고객의 요청이 과부하 오류로 실패했다. PayGo 고객은 주로 429 Resource Exhausted 를, Provisioned Throughput 고객은 503 Service Unavailable 을 받았다. 영향은 global endpoint 와 US 지역의 Vertex Gemini API, 그리고 Gemini API 를 쓰는 Google Cloud Support, Agent Assist, Dialogflow CX, Customer Experience Agent Studio 까지 번졌다.

자동 모니터링이 04:54 에 엔지니어에게 알렸다. 엔지니어는 잘못된 설정 변경을 찾아 이전의 안정된 설정으로 롤백을 시작했고, 서비스를 안정시키려고 용량도 늘렸다. Provisioned Throughput 고객의 오류는 대부분 06:00 에, PayGo 고객의 오류는 대부분 06:20 에 멈췄다. 롤백이 퍼지고 서버가 정상으로 돌아오면서 06:35 에 완전히 복구됐고, 장애는 1시간 58분 이어졌다.

심각도
–
영향 범위
Vertex AI Gemini API requests to all Gemini models, and downstream Google Cloud Support, Agent Assist, Dialogflow CX and Customer Experience Agent Studio
영향 사용자
PayGo customers (mostly 429 Resource Exhausted) and Provisioned Throughput customers (503 Service Unavailable)
지역
Global endpoint, us-central1, us-east4 and other US regions
감지까지
17m
복구까지
1h 58m

증상

2026년 2월 27일 04:37 US/Pacific 부터 Vertex AI Gemini API 를 쓰는 고객의 오류율이 올라갔다. 자동 모니터링이 04:54 에 엔지니어에게 알림을 보냈다.

오류는 요금제에 따라 다르게 나타났다. PayGo 고객은 주로 429 Resource Exhausted 오류를 받았고, Provisioned Throughput 고객은 503 Service Unavailable 오류를 받았다.

gemini-2.5-flash, gemini-2.5-flash-lite, gemini-2.5-pro, gemini-3.0-flash-preview, gemini-3.0-pro-preview, gemini-2.0-flash, gemini-2.0-flash-lite 를 비롯한 모든 Gemini 모델이 영향을 받았다. 영향을 받은 곳은 global endpoint 와 us-central1, us-east4 를 비롯한 US 지역이었고, 일부 사용자는 US 지역의 특정 모델에서 오류율이 높다고 알렸다.

Gemini API 에 기대는 Dialogflow CX, Agent Assist, Google Cloud Support AI agent, Customer Experience Agent Studio 도 함께 영향을 받았다.

오류는 한꺼번에 멈추지 않았다. Provisioned Throughput 고객의 오류는 대부분 06:00 에, PayGo 고객의 오류는 대부분 06:20 에 멈췄고, 06:35 에 완전히 복구됐다.

증상 오류율 상승

원인

원인 설정 변경

구성 요소 콘텐츠 안전 필터
기여 요인 –
촉발
모든 Gemini 모델이 쓰는 safety filtering 서비스에 설정 변경이 들어갔다. 이 변경으로 특정 요청이 새 코드 경로를 타게 됐다.

감지

자동 모니터링 시스템이 2026년 2월 27일 04:54 US/Pacific 에 엔지니어에게 알림을 보냈다. 영향이 시작되고 17분 뒤였다.

조치

후속 조치

교훈

–

출처

관련 사례

–

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 콘텐츠 안전 필터. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.