Incident Library

IL-0550 Atlassian · 2024-02-22database

Bitbucket Cloud 의 웹사이트와 API 가 6시간 동안 느려지고 Pipelines 빌드가 밀렸다

2024년 2월 22일 07:22 UTC 부터 13:30 UTC 까지 Bitbucket Cloud 의 웹사이트와 API 가 느려졌다. 트래픽이 많은 데이터베이스 테이블에서 vacuum 이 충분히 자주 돌지 않아 데이터베이스가 요청을 제대로 처리하지 못했다. Atlassian 은 자주 쓰이는 테이블에 정기적으로 도는 autovacuum 중에 생긴 문제를 근본 원인으로 적었다. 그 결과 커넥션 풀이 포화되고 응답 시간이 늘었으며 완전히 타임아웃 나는 요청이 점점 늘었다. 느려짐은 여러 Bitbucket 서비스에 번졌고, 아직 스케줄되지 못한 파이프라인이 큰 백로그로 쌓였다.

13:30 UTC 에 데이터베이스가 회복된 뒤 Bitbucket Pipelines 는 쌓인 잡을 처리하느라 빌드 스케줄링이 지연됐다. Bitbucket Pipelines 에 리소스를 더 넣었고 17:30 UTC 에 백로그가 모두 처리됐다. 장애 동안 HTTPS 와 SSH 로 하는 Git 요청은 영향이 없었다.

심각도
–
영향 범위
Increased latency on the bitbucket.org website and APIs and significant delays running Bitbucket Pipelines; Git over HTTPS and SSH unaffected
영향 사용자
Bitbucket Cloud customers
지역
–
감지까지
–
복구까지
10h 8m

증상

2024년 2월 22일 07:22 UTC 부터 Bitbucket Cloud 의 웹사이트와 API 가 느려졌다. 커넥션 풀이 포화되고 응답 시간이 늘었으며, 완전히 타임아웃 나는 요청이 점점 늘었다.

Bitbucket Pipelines 실행이 크게 지연됐고 bitbucket.org 웹사이트와 API 의 지연 시간이 늘었다. HTTPS 와 SSH 로 하는 Git 요청은 영향이 없었다. 상태 페이지는 영향을 받은 구성 요소로 Webhooks 와 Pipelines 를 적었다.

13:30 UTC 에 데이터베이스가 회복된 뒤에도 Bitbucket Pipelines 는 쌓인 잡을 처리하느라 빌드 스케줄링이 지연됐다. 상태 페이지에는 14:45 UTC 에 일부 고객의 Bitbucket Pipelines 가 시작되지 않는 문제를 조사한다는 글이 올라왔다. 15:20 UTC 에 수정을 적용했다고 알린 뒤에도 15:55 UTC 에 Pipelines 가 대기열에 머물거나 지연된다는 신고가 계속 들어왔다.

증상 지연 시간 증가커넥션 풀 고갈간헐적 타임아웃처리량 저하

원인

원인 용량 한계

구성 요소 데이터베이스PostgreSQL vacuum
기여 요인 한계 경보 부재
촉발
–

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스, PostgreSQL vacuum. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.