Incident Library

IL-0549 Atlassian · 2023-05-15networking

Atlassian 의 us-west-1 리전에서 미디어, 첨부 파일, Git LFS, 빌드 아티팩트의 저장과 조회가 실패했다

2023년 5월 15일 02:36 UTC 부터 04:08 UTC 까지 1시간 32분 동안, us-west-1 리전에 서비스를 둔 Atlassian 고객이 Bitbucket, Confluence, Jira Align, Jira Service Management, Jira Software, Jira Work Management, Jira Product Discovery, Atlas 에서 미디어, 첨부 파일, 빌드 아티팩트 같은 데이터 자산을 저장하고 가져오지 못했다.

Atlassian 은 네트워크 세그먼트 사이의 분리를 강화해 보안을 높이는 작업의 하나로 내부 서비스를 새 네트워크 세그먼트로 옮기고 있었다. 이 이전 작업에서 옛 네트워크 세그먼트를 가리키는 DNS 레코드 하나가 갱신되지 않았고, 옛 네트워크 스택을 지우자 실패가 났다. 변경은 블루/그린 배포 방식으로 했지만 옛 스택을 내리기 전에 충분한 검증 단계를 돌리지 않았다. 서비스를 네트워크 세그먼트 사이로 옮기는 일은 자주 하지 않고 테스트 환경에서 똑같이 재현하기 어려워서, 기존 테스트와 예방 절차로는 이 문제를 찾지 못했다.

자동 모니터링이 3분 안에 장애를 감지했고, 변경을 롤백해 Atlassian 시스템을 정상이던 상태로 되돌려 문제를 해결했다.

심각도
–
영향 범위
Storing and retrieving media, attachments, Git LFS objects and build artifacts in Bitbucket, Confluence, Jira Align, Jira Service Management, Jira Software, Jira Work Management, Jira Product Discovery and Atlas; Bitbucket Pipelines self-hosted builds failed and cloud-hosted builds were delayed
영향 사용자
Customers with services hosted in the us-west-1 region
지역
us-west-1
감지까지
3m
복구까지
1h 32m

증상

2023년 5월 15일 02:36 UTC 부터 us-west-1 리전에 서비스를 둔 Atlassian 고객에게 미디어, 첨부 파일, 빌드 아티팩트 같은 데이터 자산의 저장과 조회가 실패했다. 자동 모니터링이 3분 안에 감지했다.

Bitbucket 에서는 Bitbucket Pipelines 의 셀프 호스팅 빌드가 실패했다. Git LFS 접근도 실패했고, 클라우드 호스팅 빌드는 지연됐다.

Confluence, Jira Align, Jira Service Management, Jira Software, Jira Work Management, Jira Product Discovery, Atlas 에서는 이미지, 동영상, 문서, 오디오 같은 미디어 기능이 망가져 미디어 첨부 파일과 파일을 올리거나 내려받거나 볼 수 없었다.

상태 페이지에는 03:39 UTC 에 Atlassian Support, Confluence, Jira Work Management, Jira Service Management, Jira Software, Atlassian Bitbucket, Atlas Cloud 고객의 간헐적 오류 신고를 조사한다는 글이 올라왔다.

증상 오류율 상승오래된 엔드포인트 라우팅

원인

원인 설정 변경

구성 요소 DNS 서버와 레코드
기여 요인 미검증 가정스테이징 불일치
촉발
네트워크 세그먼트 사이의 분리를 강화해 보안을 높이는 작업의 하나로 내부 서비스를 새 네트워크 세그먼트로 옮겼다.

감지

자동 모니터링이 3분 안에 감지했다.

조치

후속 조치

교훈

Atlassian 은 기존 테스트와 예방 절차가 이 문제를 잡지 못했다고 밝혔다. 서비스를 네트워크 세그먼트 사이로 옮기는 일은 자주 하는 작업이 아니고, 테스트 환경에서 정확히 재현하기도 어렵기 때문이라고 설명했다. 이런 문제를 막으려고 블루/그린 배포 방식을 썼지만, 옛 스택을 내리기 전에 충분한 검증 단계를 돌리지 않았다고 적었다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: DNS 서버와 레코드. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.