사례1건

1건 중 1~1번째

1. IL-0399 AWS eu-west-1 의 EC2 DNS resolver 문제로 GOV.UK PaaS 와 그 위의 애플리케이션이 DNS 조회에 간헐적으로 실패했다

   Government Digital Service2016

   증상

   2016년 12월 15일 새벽 GOV.UK PaaS 의 VM 에 DNS 조회 오류가 기록되기 시작했고, PaaS 에 배포한 애플리케이션이 DNS 조회에 간헐적으로 실패했다. 그 때문에 서비스가 데이터베이스, 백엔드 서비스, API 에 연결하지 못했을 수 있다. 01:00 부터 03:17 사이에 이 애플리케이션을 쓴 사용자는 간헐적인 느려짐과 오류를 봤을 수 있다.

   DNS 조회 실패간헐적 연결 실패모니터링 중단

   원인

   클라우드 제공자 장애

   구성 요소

   VPC DNS 리졸버

   기여 요인

   잡음에 묻힌 신호

   감지

   장애가 난 시각에 팀은 PaaS 를 24시간 지원하지 않았다. 팀은 12월 15일 업무를 시작하면서 모니터링 알림이 나가 있던 것을 알아챘다. 08:00 에 팀원이 경고를 보고, 모니터링에서 영향이 끝났음을 확인했다.

   후속 조치

   • 디스크 모니터링 데이터가 들어오지 않을 때는 모니터링 시스템이 메일을 보내지 않게 한다. 메일이 너무 많으면 다른 알림을 알아보기 어렵기 때문이다.
   • 장애를 tenant 에게 더 쉽고 빠르게 알릴 수 있게 한다.
   • 업무 시간 밖 지원에 쓸 알림을 곧 도입하고, 어떤 알림을 둘지는 이 장애를 예로 삼아 정한다.
   • PaaS 를 쓰는 서비스의 필요에 맞춰 곧 24시간 지원을 시작한다.

   사례 보기

원인별1