IL-0293 Google Cloud · 2023-12-04gcpdatabasenetworking
us-central1 의 Cloud Bigtable 에서 지연과 연결 오류가 32시간 동안 이어졌다
2023-12-04 19:50 US/Pacific 부터 us-central1 에서 Cloud Bigtable 데이터플레인 요청의 약 0.06% 가 지연 증가와 오류를 겪었다. 근본 원인은 Cloud Bigtable 서버를 돌리는 머신의 격리 실패였고, 주로 낮은 비율의 네트워크 패킷 손실로 나타났다. 자동 모니터링이 23:35 에 처음 잡아내 엔지니어가 바로 조사를 시작했다. 상태 페이지는 처음에 네트워킹 문제로 알렸다가 네트워킹이 원인이 아니라고 바로잡았다. 12월 5일 14:40 에 엔지니어가 영향받은 머신 일부에서 트래픽 일부를 다른 곳으로 돌려 영향을 일부 줄였다. 보고서는 이 부분 완화가 장애 시작 15시간 뒤였다고 적었다. 그 뒤로는 복제되지 않은 클러스터를 쓰는 고객에게 오류와 지연이 가장 오래 남았다. 엔지니어는 격리 문제를 일으킨 변경을 찾아 롤백했다. 12월 6일 03:55 에 지연이 완전히 풀려, 장애는 1일 8시간 5분 만에 완전히 완화됐다. 재발을 막는 통제 장치도 두었다.
- 심각도
- –
- 영향 범위
- About 0.06% of Cloud Bigtable dataplane requests had higher latency and errors; Google Cloud Tasks was also listed as affected
- 영향 사용자
- Bigtable customers in us-central1, for longest those running non-replicated clusters
- 지역
- us-central1
- 감지까지
- 3h 45m
- 복구까지
- 32h 5m
증상
2023-12-04 19:50 US/Pacific 부터 us-central1 의 Cloud Bigtable 고객이 지연 증가와 낮은 수준의 연결 오류를 겪었다. 데이터플레인 요청의 약 0.06% 가 영향을 받았고, 자동 모니터링이 23:35 에 처음 잡아냈다.
이 장애는 주로 낮은 비율의 네트워크 패킷 손실로 나타났다.
상태 페이지는 12월 5일 07:19 에 처음 Google Cloud Networking 문제로 us-central1 에서 오류와 지연이 늘 수 있다고 알렸고, 07:51 에는 이 네트워킹 문제가 Cloud Bigtable 과 Google Kubernetes Engine 에 영향을 준다고 했다. 09:08 에는 Google Cloud Networking 이 원인이 아니라고 바로잡았다. 09:53 부터 조사는 Cloud Bigtable 과 네트워킹 구성 요소에서 이어졌고, 11:31 에는 Google Kubernetes Engine 에만 해당하는 영향은 없다고 밝혔다.
상태 페이지는 12월 5일 12:52 에 대부분의 고객에게서 문제가 일부 해결됐다고 알렸다. 13:52 부터는 대부분의 고객에게서 해결됐지만, us-central1 에서 복제되지 않은 클러스터를 쓰는 고객은 오류와 지연이 계속될 수 있다고 알렸다. Google Cloud Tasks 도 영향받은 서비스로 올라갔다.
원인
- 촉발
- Cloud Bigtable 서버를 돌리는 머신에 들어간 변경 하나 때문에 격리가 실패했다.
감지
2023-12-04 23:35 US/Pacific 에 자동 모니터링이 처음 잡아냈고 엔지니어가 바로 조사를 시작했다.
조치
- 12월 5일 14:40 에 영향받은 머신 일부에서 트래픽 일부를 다른 곳으로 돌려 영향을 일부 줄였다.
- 격리 문제를 일으킨 변경을 찾아 롤백했고, 12월 6일 03:55 에 지연이 완전히 풀렸다.
후속 조치
- 같은 장애가 다시 나지 않도록 통제 장치를 둔다.
교훈
–
출처
- https://status.cloud.google.com/incidents/TzTbUF4sxVhj1mcK9j25 · official-status · 보관본
관련 사례
같은 원인 · 공통 데이터베이스
IL-0136Sweden Central 리전에서 내부 서비스 배포가 캐시를 비워 메타데이터 백엔드에 평소 20배의 트래픽이 몰렸고, 데이터베이스 연결에 기대는 헬스 체크가 인스턴스를 계속 재시작시켜 Azure OpenAI 요청이 6시간 가까이 실패했다Microsoft Azure · 2026같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
IL-0510MIT Learn 운영 RDS PostgreSQL 의 저장 공간이 임시 파일로 가득 차 learn.mit.edu 가 세 시간 동안 503 과 504 를 냈다MIT Open Learning · 2026같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
IL-0547Buildkite 의 Agent API, REST API, GraphQL 이 annotations 테이블 쿼리 타임아웃으로 4시간 가까이 저하됐다Buildkite · 2025같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
IL-0324External Storage 데이터베이스 클러스터에 과부하가 걸려 mw-api-int, mw-parsoid, mw-jobrunner 의 지연과 데이터베이스 오류가 늘었다Wikimedia Foundation · 2025같은 원인 · 공통 데이터베이스
IL-0307Supabase us-east-1 에서 Supavisor 2.0 업그레이드 뒤 Postgres 연결 풀러가 테넌트 약 80% 의 연결을 끊었다Supabase · 2025같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
IL-0523TANF-app 의 운영 배포가 PostgreSQL 마이그레이션 실패로 두 달 동안 막힘U.S. Department of Health and Human Services · 2023같은 원인 · 공통 데이터베이스
IL-0567쿠키런: 오븐브레이크의 패키지 매출 랭킹 기능을 배포한 뒤 Aurora MySQL CPU가 100%에 이르러 유저가 게임에 접속하지 못했다Devsisters · 2023같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
IL-0524인덱스를 다시 만드는 마이그레이션이 운영에서 Transactions 테이블을 잠가 Open Collective 서비스가 느려짐Open Collective · 2023같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
같은 원인 · 공통 데이터베이스
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0293
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0293/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.