Incident Library

IL-0360 bunny.net · 2021-05-26networking

bunny.net DNS 클러스터가 과부하돼 DNS 질의가 타임아웃됐다

2021-05-26 bunny.net 은 정기 유지보수 중 성능과 신뢰성을 높이려고 DNS 시스템에 라우팅 갱신을 배포했다. 다른 시스템의 문제로 갱신이 제대로 배포되지 않아 이름 서버 클러스터 4개 중 2개를 쓸 수 없게 됐다. 용량이 크게 줄어든 상태에서 나머지 두 클러스터에 예상하지 못한 부하가 몰려 질의가 타임아웃되기 시작했다. 리졸버는 타임아웃된 질의를 다시 보냈고, 늘어난 질의가 이름 서버 클러스터 하나를 점점 과부하시켰다. 20:40 UTC 무렵 유지보수가 끝난 뒤 bunny.net 은 DNS 클러스터 하나에서 비정상적으로 높은 부하를 감지했다. 약 30분 동안 트래픽의 약 10% 가 영향을 받은 뒤 상황이 정상으로 돌아왔고, 상태 페이지에는 21:23 에 해결로 올라갔다. 나머지 클러스터는 영향을 받지 않았다. bunny.net 은 이번 일이 사람의 실수였다고 밝혔고, 모든 클러스터에 용량을 더했다.

심각도
–
영향 범위
DNS queries to bunny.net nameservers, about 10% of traffic
영향 사용자
–
지역
–
감지까지
–
복구까지
43m

증상

2021-05-26 20:40 UTC 무렵 정기 유지보수가 끝난 뒤 bunny.net 은 DNS 클러스터 하나에서 비정상적으로 높은 부하를 감지했다. 상태 페이지에는 NS cluster 1 의 성능이 떨어졌다는 글이 올라갔다.

약 30분 동안 트래픽의 약 10% 가 영향을 받았다. 남은 두 클러스터로 예상하지 못한 부하가 몰려 질의가 타임아웃되기 시작했다. 타임아웃된 질의 때문에 리졸버가 질의를 더 보내면서 이름 서버 클러스터 하나가 점점 과부하됐다.

bunny.net 은 서로 독립된 Anycast 네트워크 3개를 운영하고 있어서, 처음에는 트래픽 일부가 왜 제대로 처리되지 않았는지를 조사했다.

증상 DNS 조회 실패

원인

원인 배포 결함

구성 요소 DNS 서버와 레코드
기여 요인 재시도 폭주여유 용량 부재
촉발
bunny.net 은 유지보수 중 성능과 신뢰성을 높이려고 DNS 시스템에 라우팅 갱신을 배포했다. 그런데 다른 시스템의 문제로 갱신이 제대로 배포되지 않아 이름 서버 클러스터 4개 중 2개를 쓸 수 없게 됐다.

감지

bunny.net 은 정기 유지보수 뒤 DNS 클러스터 하나에서 비정상적으로 높은 부하를 감지했다.

조치

–

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: DNS 서버와 레코드. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.