사례1건

1건 중 1~1번째

1. IL-0389 AWS 서울 리전에서 EC2 DNS 확인 서버군의 정상 호스트가 줄어 EC2 인스턴스 안의 DNS 쿼리가 실패했다

   Amazon Web Services2018

   증상

   2018년 11월 22일 한국 시간 오전 8시 19분부터 서울 리전 AP-NORTHEAST-2 에서 고객 EC2 인스턴스 안의 DNS 쿼리가 실패하기 시작했다. AWS 엔지니어링 팀은 8시 21분에 이 DNS 확인 문제를 알림으로 받았다.

   DNS 조회 실패

   촉발

   설정 업데이트가 서울 리전 EC2 DNS 확인 서버군의 최소 정상 호스트 수를 지정하는 설정을 잘못 지웠다.

   원인

   설정 변경

   구성 요소

   VPC DNS 리졸버

   기여 요인

   설정 테스트 부재파괴적 변경 보호 장치 부재

   감지

   한국 시간 오전 8시 21분에 엔지니어링 팀이 서울 리전의 DNS 확인 문제를 알림으로 받았다.

   조치

   • 정상 호스트가 서비스에서 더 빠지지 않게 막아 영향이 더 커지지 않게 했다. 이 작업에 15분이 걸렸다.
   • EC2 DNS 확인 서버군의 용량을 이전 수준으로 되돌렸다. 복구 시간 대부분이 이 작업에 들었고, 한국 시간 오전 9시 43분에 완전히 복구됐다.

   후속 조치

   • 모든 AWS 리전의 EC2 DNS 확인 서비스에 올바른 용량 설정이 들어 있는지 바로 확인했다.
   • 모든 리전이 늘 충분한 최소 정상 호스트를 갖도록, EC2 DNS 확인 서버군의 설정 업데이트마다 설정 값의 의미까지 확인하는 검증을 넣는다.
   • 서비스에서 시간당 뺄 수 있는 정상 호스트 용량을 제한하는 스로틀링을 더한다. 잘못된 설정 값이 들어와도 EC2 DNS 확인 서버군의 용량이 줄지 않게 하려는 것이다.

   사례 보기

원인별1