사례1건

1건 중 1~1번째

1. IL-0393 프로그램 메타데이터 데이터베이스의 부하가 치솟고 캐시 계층 풀 하나가 실패해 BBC iPlayer 와 재생이 오래 멈췄다

   BBC2014

   증상

   2014년 7월 19일 토요일 오전 9시 30분 프로그램과 클립 메타데이터를 내주는 시스템의 데이터베이스 부하가 치솟아, 애플리케이션 서버로 가는 메타데이터 요청이 많이 실패하기 시작했다. BBC iPlayer, BBC iPlayer Radio, bbc.co.uk 다른 곳의 오디오·비디오 재생이 영향을 받았다.

   데이터베이스 과부하오류율 상승서비스 중단

   원인

   unknown

   구성 요소

   데이터베이스

   기여 요인

   캐시 부재장애 중첩

   조치

   • 가장 먼저 실패한 캐시 계층을 복구했다.
   • 캐시 계층 실패가 되풀이되는 동안 홈페이지를 비상 모드로 여러 번 바꿨고, 캐시가 완전히 안정됐다고 확신할 때까지 비상 페이지를 띄워 뒀다.
   • 메타데이터 시스템의 성능이 계속 나빠 토요일 오후부터 저녁까지 큰 복구 작업을 했다. 그동안 BBC iPlayer 는 사실상 쓸 수 없었다.
   • 주말 남은 기간은 사이트 대부분이 거의 정상으로 도는 상태로 운영했다. 일요일 저녁 피크 시간에 서비스를 더 위험하게 하지 않으려고 완전 복구는 월요일 아침으로 미뤄 진행했다.

   후속 조치

   • 근본 원인을 완전히 이해했는지 확인하는 조사를 마치고, 이런 중단이 다시 일어날 가능성을 줄이는 조치를 넣는다.

   사례 보기

원인별1