Incident Library

IL-0551 Atlassian · 2025-05-08database

Bitbucket Cloud 주 데이터베이스가 과부하로 장애 조치된 뒤 하루 가까이 지연과 간헐 오류가 이어졌다

2025년 5월 8일 15시 26분 UTC에 Atlassian 내부 서비스가 돌린 대규모 백필 작업이 자원을 많이 쓰는 쿼리를 대량으로 일으켜 Bitbucket Cloud 의 주 데이터베이스를 과부하에 빠뜨렸다. 웹사이트와 API 응답이 느려졌고, 주 데이터베이스는 자동으로 장애 조치됐다. Bitbucket 서비스는 15분 만에 회복했고 백필 작업은 중단됐다.

장애 조치 뒤에도 이 데이터베이스에 의존하는 하위 서비스들의 재시도가 밀려 들어와 데이터베이스 성능을 계속 떨어뜨렸고, 이 재시도 부하가 복구 시간을 늘렸다. 엔지니어링 팀은 데이터베이스 부하를 덜어 내는 여러 방법을 적용했고, Bitbucket Cloud 는 5월 9일 11시 19분 UTC에 완전히 정상으로 돌아왔다. Atlassian 은 이 문제가 내부 구성 요소가 돌린 특정 대규모 백필 작업과 관련돼 있어 테스트에서 걸러지지 않았다고 밝혔다.

심각도
–
영향 범위
Bitbucket Cloud website, API and Bitbucket Pipelines: increased latency and intermittent failures from 15:26 UTC on 8 May to 11:19 UTC on 9 May 2025
영향 사용자
–
지역
–
감지까지
–
복구까지
19h 53m

증상

2025년 5월 8일 15시 26분 UTC부터 Bitbucket Cloud 웹사이트와 API의 응답이 느려졌다. 주 데이터베이스가 과부하에 걸려 있었다.

주 데이터베이스는 자동으로 장애 조치됐고 Bitbucket 서비스는 15분 만에 회복했다. 그러나 장애 조치 뒤에도 하위 서비스들이 쌓아 둔 재시도가 데이터베이스 성능을 계속 끌어내렸고, 고객은 간헐적인 오류와 웹사이트 지연을 겪었다.

지연과 간헐적인 실패는 웹사이트, API, Bitbucket Pipelines 전반에 나타났고 5월 9일 11시 19분 UTC까지 이어졌다.

증상 데이터베이스 과부하지연 시간 증가오류율 상승

원인

원인 용량 한계

구성 요소 데이터베이스
기여 요인 비효율적인 쿼리재시도 폭주
촉발
Atlassian 내부 서비스가 돌린 대규모 백필 작업이 일부 API 엔드포인트에 과도한 부하를 걸었고, 그 엔드포인트들이 비용이 큰 쿼리를 주 데이터베이스에 대량으로 보냈다.

감지

실시간 모니터링이 장애를 바로 감지했다. 상태 페이지에는 15시 41분 UTC에 조사 중이라는 공지가 올라왔다.

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.