Incident Library

IL-0393 BBC · 2014-07-19database

프로그램 메타데이터 데이터베이스의 부하가 치솟고 캐시 계층 풀 하나가 실패해 BBC iPlayer 와 재생이 오래 멈췄다

BBC 는 프로그램과 클립 메타데이터를 내주는 시스템을 애플리케이션 서버 58대와 데이터베이스 서버 10대로 운영한다. 이 데이터는 1200개가 넘는 기기용 BBC iPlayer 애플리케이션과 BBC Online 여러 사이트의 프로그램 정보·클립 모듈에 쓰인다. 시스템은 두 데이터센터에 나뉘어 둘 다 동시에 도는 hot-hot 구성이고, 어느 한쪽만으로도 운영할 수 있게 되어 있었다. 2014년 7월 19일 토요일 오전 9시 30분 이 데이터베이스의 부하가 치솟았고, 애플리케이션 서버로 가는 메타데이터 요청이 많이 실패했다. 메타데이터를 제품 단에서 캐시하는 제품은 계속 콘텐츠를 냈지만, 주로 오래된 애플리케이션처럼 메타데이터를 직접 쓰는 제품은 실패했다.

거의 같은 때 BBC Online 제품 대부분 앞에 있는 캐시 계층의 풀 하나가 실패해, 이 풀이 맡은 BBC iPlayer 와 BBC 홈페이지에 접속할 수 없게 됐다. BBC 는 캐시 계층 복구를 가장 먼저 했다. 이 실패는 복잡했고 여러 번 되풀이됐다. BBC 는 홈페이지를 비상 모드로 여러 번 바꿨고, 캐시가 완전히 안정됐다고 확신할 때까지 비상 페이지를 띄워 뒀다.

메타데이터 서비스는 늘어난 부하의 출처를 찾기 어려웠고 재부팅으로 되살릴 수도 없었다. 성능이 계속 나빠 토요일 오후부터 저녁까지 큰 복구 작업을 했고, 그동안 BBC iPlayer 는 사실상 쓸 수 없었다. 작업 뒤 사이트 대부분은 거의 정상으로 돌았지만 여러 기기에서 BBC iPlayer 는 계속 내려가 있었다. BBC 는 주말 내내 이 상태로 운영하며 완전 복구를 준비했다. 준비가 끝났을 때는 일요일 저녁 피크 시간에 들어서고 있어 완전 복구를 월요일 아침으로 미뤘다. 일부 사용자는 7월 12일 토요일과 13일 일요일에 방송한 프로그램을 7일 다시보기로 볼 수 없었다. 근본 원인은 글을 쓴 시점에 아직 조사 중이었다.

심각도
–
영향 범위
BBC iPlayer, BBC iPlayer Radio and audio and video playback on bbc.co.uk; the emergency homepage was used for long periods; programmes aired on 12 and 13 July were unavailable in catch-up for some users
영향 사용자
–
지역
–
감지까지
–
복구까지
–

증상

2014년 7월 19일 토요일 오전 9시 30분 프로그램과 클립 메타데이터를 내주는 시스템의 데이터베이스 부하가 치솟아, 애플리케이션 서버로 가는 메타데이터 요청이 많이 실패하기 시작했다. BBC iPlayer, BBC iPlayer Radio, bbc.co.uk 다른 곳의 오디오·비디오 재생이 영향을 받았다.

영향은 제품이 메타데이터를 쓰는 방식에 따라 갈렸다. 제품 단에서 메타데이터를 캐시하는 제품은 다시 검증을 시도하면서 계속 콘텐츠를 냈다. 주로 오래된 애플리케이션처럼 메타데이터를 직접 쓰는 제품은 실패하기 시작했다.

거의 같은 때 BBC Online 제품 대부분 앞에 있는 캐시 계층의 풀 하나가 실패했다. 이 풀이 맡은 BBC iPlayer 와 BBC 홈페이지 모두에 접속할 수 없게 됐다. 이 실패는 여러 번 되풀이됐고, 홈페이지는 "Due to technical problems, we are displaying a simplified version of the BBC Homepage" 문구를 띄운 비상 모드로 여러 번 바뀌었다.

늘어난 부하가 어디서 오는지 찾기가 쉽지 않았고, 메타데이터 서비스는 재부팅만으로 되살아나지 않았다. 토요일 오후부터 저녁까지 큰 복구 작업을 하는 동안 BBC iPlayer 는 사실상 쓸 수 없었다.

증상 데이터베이스 과부하오류율 상승서비스 중단

원인

원인 unknown

구성 요소 데이터베이스
기여 요인 캐시 부재장애 중첩
촉발
–

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.