사례1건

1건 중 1~1번째

1. IL-0360 bunny.net DNS 클러스터가 과부하돼 DNS 질의가 타임아웃됐다

   bunny.net2021

   증상

   2021-05-26 20:40 UTC 무렵 정기 유지보수가 끝난 뒤 bunny.net 은 DNS 클러스터 하나에서 비정상적으로 높은 부하를 감지했다. 상태 페이지에는 NS cluster 1 의 성능이 떨어졌다는 글이 올라갔다.

   DNS 조회 실패

   촉발

   bunny.net 은 유지보수 중 성능과 신뢰성을 높이려고 DNS 시스템에 라우팅 갱신을 배포했다. 그런데 다른 시스템의 문제로 갱신이 제대로 배포되지 않아 이름 서버 클러스터 4개 중 2개를 쓸 수 없게 됐다.

   원인

   배포 결함

   구성 요소

   DNS 서버와 레코드

   기여 요인

   재시도 폭주여유 용량 부재

   감지

   bunny.net 은 정기 유지보수 뒤 DNS 클러스터 하나에서 비정상적으로 높은 부하를 감지했다.

   후속 조치

   • 같은 일이 다시 나지 않도록 품질 관리와 모니터링을 여러 면에서 보강했다.
   • 모든 클러스터에 용량을 더해 클러스터 하나하나가 전체 부하를 감당할 수 있게 했다.
   • 이번 장애는 사람의 실수였고, 같은 일이 다시 나지 않도록 팀과 함께 개선한다.

   사례 보기

원인별1