EKS 노드 교체 중 CoreDNS 파드 하나가 종료되자 남은 CoreDNS 파드가 늘어난 부하를 버티지 못해 DNS 조회가 느려지고 타임아웃이 났다.

증상

2025년 5월 19일 13:42 UTC 에 RebelMouse 모니터링 도구가 오류율 상승과 서비스 성능 저하를 잡아냈다.

CoreDNS 의 성능이 크게 떨어져 DNS 조회 지연이 늘고 타임아웃이 잦아졌다. 여러 서비스와 애플리케이션이 영향을 받아 서비스 가용성과 사용자 경험이 나빠졌다. 사용량이 가장 많은 시간대에 벌어진 일이라 플랫폼을 쓸 수 없다는 신고가 곳곳에서 들어왔다.

RebelMouse 는 그보다 27분 앞선 13:15 UTC 에 보안 패치를 적용하려고 정기 EKS 노드 교체를 시작해 둔 상태였다. 기술팀은 13:44 UTC 에 조사를 시작했다.

증상 DNS 조회 실패지연 시간 증가오류율 상승서비스 중단

원인

촉발

감지

13:42 UTC 에 RebelMouse 모니터링 도구가 오류율 상승과 서비스 성능 저하를 잡아냈다. 노드 교체를 시작한 지 27분 뒤였다. 기술팀은 2분 뒤인 13:44 UTC 에 조사를 시작했다.

조치

• 영향을 받은 CoreDNS 파드를 새 EC2 인스턴스로 다시 스케줄했다.
• CoreDNS 디플로이먼트를 스케일 업해 레플리카 수를 늘리고, 부하가 모든 파드에 고르게 나뉘게 했다.

후속 조치

• 부하가 몰리는 시간대에 CoreDNS 파드가 예기치 않게 종료되지 않도록 스케일 인 보호 장치를 넣는다.
• CoreDNS 파드의 수직 확장이 제대로 되도록 CoreDNS 설정을 다시 살펴본다.
• CoreDNS 디플로이먼트가 최대 부하를 감당할 만큼 준비돼 있는지 정기적으로 용량을 점검한다.

교훈

–

출처

• https://status.rebelmouse.com/incidents/w170d4lz2bhl · official-status

관련 사례

• IL-0102 배포와 워커 오토스케일링 폭주가 겹치자 크기를 고정해 둔 CoreDNS 가 메모리 한도를 넘겨 재시작된 뒤 회복하지 못했고, Buildkite 사이트 전체가 약 30분 멈췄다.Buildkite · 2026

  같은 원인 · 공통 노드 풀, CoreDNS

• IL-0155 NYC1 의 일부 DOKS 클러스터에서 공유 CPU 노드 위의 CoreDNS 때문에 DNS 가 간헐적으로 실패하고 NodeNotReady 가 났다DigitalOcean · 2026

  같은 원인 · 공통 노드 풀, CoreDNS

• IL-0027 CoreDNS 파드가 모두 한 노드에 몰린 채 그 노드의 메모리가 고갈되자 DNS 가 응답하지 못해 아이디어스 서비스 전체가 멈췄다Backpackr · 2025

  같은 원인 · 공통 노드 풀, CoreDNS

• IL-0100 노드가 파드의 CPU 요청에 비해 작아 CPU 가 포화되면서 PostHog 기능 플래그 서비스에 열흘 사이 장애가 세 번 났다.PostHog · 2025

  같은 원인 · 공통 노드 풀

• IL-0048 대형 EKS 클러스터에서 CoreDNS 가 VPC DNS 리졸버로 보내는 질의가 링크 로컬 트래픽의 초당 1024 패킷 한도에 걸려 DNS 조회가 간헐적으로 타임아웃됐다.unknown · 2025

  같은 원인 · 공통 CoreDNS

내 클러스터에도 있는지 확인하기

AI 도구와 스크립트용

• 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0082
• 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0082/similar
• MCP 서버(Streamable HTTP, 키 없음): https://incidentlib-mcp.benchlet.com/mcp

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.