Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

DNS 조회 실패

DNS resolution failures · dns-resolution-failures

22건 · 2018년부터 2026년

원인 용량 한계10건 소프트웨어 결함4건 DNS·네트워크 장애3건 업그레이드로 깨진 호환성3건 설정 변경1건 의존성 장애1건

구성 요소 CoreDNS10건 클라이언트 쪽 DNS 리졸버와 캐시10건 노드 풀5건 쿠버네티스 API 서버4건 conntrack 테이블

기여 요인 기본 설정 방치9건 한계 미인지5건 모니터링 사각지대5건 자동화 증폭4건

조직 Adevinta1건 Airbnb1건 AirMap1건 Amazon Web Services1건 Backpackr

사례

IL-0102 배포와 워커 오토스케일링 폭주가 겹치자 크기를 고정해 둔 CoreDNS 가 메모리 한도를 넘겨 재시작된 뒤 회복하지 못했고, Buildkite 사이트 전체가 약 30분 멈췄다.Buildkite · 2026
원인 용량 한계
IL-0155 NYC1 의 일부 DOKS 클러스터에서 공유 CPU 노드 위의 CoreDNS 때문에 DNS 가 간헐적으로 실패하고 NodeNotReady 가 났다DigitalOcean · 2026
원인 용량 한계
IL-0150 DynamoDB DNS 자동화의 경쟁 조건이 us-east-1 리전 엔드포인트의 DNS 레코드를 비워 DynamoDB 와 EC2 인스턴스 시작이 실패했고, 그 여파로 EKS, ECS, Fargate 의 컨테이너 시작과 클러스터 스케일링이 14시간 넘게 막혔다

그래프에서 보기

3건

컨테이너 메모리 한도3건

텔레메트리 에이전트3건

애플리케이션 데이터베이스2건

DNS 서버와 레코드2건

어드미션 웹훅1건

클라우드 로드 밸런서1건

컨피그맵과 시크릿1건

GKE 컨트롤 플레인1건

수평 파드 오토스케일러1건

리눅스 커널1건

노드 운영체제 이미지1건

영구 볼륨과 스테이트풀셋1건

컨테이너 레지스트리와 자격 증명1건

VPC DNS 리졸버1건

캐시 부재4건

단일 장애점4건

미검증 가정3건

재시도 폭주3건

과도한 영향 범위2건

초기 신호 무시2건

여유 용량 부재2건

단계적 배포 부재2건

스테이징 불일치2건

미검증 백업1건

피크 시간 변경1건

코드로 관리되지 않는 설정1건

캐시로 가려진 장애1건

미패치 알려진 버그1건

디버그 접근 제한1건

수동 조치 악화1건

용량 계획 부재1건

런북 부재1건

롤백 무효1건

미뤄 둔 업그레이드1건

1건

Cisco ThousandEyes1건

Civis Analytics1건

DigitalOcean1건

Microsoft Azure1건

Toyota Connected1건

Amazon Web Services · 2025

원인 소프트웨어 결함

IL-0101 자동 업그레이드를 꺼 둔 GKE 클러스터의 컨트롤 플레인이 지원 종료 기한에 1.33.2 로 강제 업그레이드된 뒤 새 노드가 모두 초기화에 실패해, 오토스케일링과 스팟 노드 복구가 15시간 멈췄다.Wealthy · 2025 · sev1

원인 업그레이드로 깨진 호환성

IL-0104 Istio 의 공격적인 DNS 캐시 갱신과 클라이언트 포트 재사용, kube-proxy 가 종료된 파드의 conntrack 항목을 정리하지 않는 문제, 2분짜리 UDP conntrack 기본 타임아웃이 겹쳐 CoreDNS 파드가 OOMKilled 됐다.Cisco ThousandEyes · 2025

원인 소프트웨어 결함

IL-0048 대형 EKS 클러스터에서 CoreDNS 가 VPC DNS 리졸버로 보내는 질의가 링크 로컬 트래픽의 초당 1024 패킷 한도에 걸려 DNS 조회가 간헐적으로 타임아웃됐다.unknown · 2025

원인 용량 한계

IL-0080 트래픽이 몰린 GKE 클러스터에서 kube-dns 가 DNS 질의를 감당하지 못해 여러 서비스의 이름 해석이 실패하고 운영 장애로 번졌다.Mercari · 2025 · sev1

원인 용량 한계

IL-0082 EKS 노드 교체 중 CoreDNS 파드 하나가 종료되자 남은 CoreDNS 파드가 늘어난 부하를 버티지 못해 DNS 조회가 느려지고 타임아웃이 났다.RebelMouse · 2025

원인 용량 한계

IL-0027 CoreDNS 파드가 모두 한 노드에 몰린 채 그 노드의 메모리가 고갈되자 DNS 가 응답하지 못해 아이디어스 서비스 전체가 멈췄다Backpackr · 2025

원인 용량 한계

IL-0162 데이터베이스 업데이트 뒤 LKE 내부 DNS 서비스가 멈춰 사용자가 LKE 클러스터 컨트롤 플레인과 LKE 대시보드에 접속하지 못했다Linode · 2025

원인 의존성 장애

IL-0204 Render 프랑크푸르트 클러스터에서 etcd 메모리 급증으로 컨트롤 플레인이 과부하에 걸렸고, 컨트롤 플레인 노드를 재부팅하자 그 위의 CoreDNS 가 다시 뜨지 못해 DNS 가 멈췄다.Render · 2024

원인 용량 한계

IL-0005 새 텔레메트리 서비스가 모든 노드에서 무거운 쿠버네티스 API 요청을 보내 대형 클러스터의 컨트롤 플레인이 무너졌고, DNS 기반 서비스 디스커버리가 깨져 OpenAI 의 모든 서비스가 멈췄다OpenAI · 2024

원인 설정 변경

IL-0083 멀티 테넌트 쿠버네티스 클러스터에서 노드 로컬 dnsmasq 가 동시 질의 한도에 걸리고 cluster.local 응답을 캐시하지 못한 데다 ndots 검색 도메인 질의가 CoreDNS 로 몰려, 서비스 간 호출이 간헐적인 5xx 를 냈다.Adevinta · 2023

원인 DNS·네트워크 장애

IL-0060 쿠버네티스 1.24 업그레이드로 node-role.kubernetes.io/master 레이블이 사라지자 이 레이블에 기대던 Calico 라우트 리플렉터가 동작을 멈춰 레거시 클러스터의 네트워크가 모두 끊기고 Reddit 이 314분 동안 멈췄다Reddit · 2023

원인 업그레이드로 깨진 호환성

IL-0144 Ubuntu 18.04 의 systemd 보안 업데이트가 DNS 설정을 날려 AKS 노드의 kubelet 이 레지스트리 이름을 해석하지 못하고 파드가 ImagePullBackoff 에 빠졌다.Microsoft Azure · 2022

원인 업그레이드로 깨진 호환성

IL-0049 CoreDNS 파드가 줄어든 뒤 kube-proxy 가 conntrack 항목을 지우지 못해 일부 서비스의 DNS 요청이 없어진 파드로 가면서 5xx 가 쏟아졌다Preply · 2020

원인 DNS·네트워크 장애

IL-0033 kube-dns 파드 사이의 트래픽 불균형과 DNS 초당 패킷 한도 때문에 외부 DNS 조회가 많은 여러 서비스의 지연 시간이 20초까지 늘었다Airbnb · 2019

원인 용량 한계

IL-0047 conntrack 경합으로 DNS 조회가 5초씩 늦어져 파드 사이 요청이 간헐적으로 5초, 10초, 15초씩 지연되었다.MindTickle · 2019

원인 DNS·네트워크 장애

IL-0075 클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다.Civis Analytics · 2019

원인 용량 한계

IL-0001 CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다Zalando · 2019

원인 용량 한계

IL-0050 ndots:5, Alpine 의 musl 리졸버, Netty 4.1.30 의 DNS 처리 문제가 겹쳐 쿠버네티스 서비스가 클러스터 밖 Redis 호스트 이름을 반복해서 해석하지 못했다Toyota Connected · 2018

원인 소프트웨어 결함

IL-0074 워커 노드가 잇달아 Not Ready 에 빠지고 네트워크와 DNS 실패로 사이드카가 죽으면서, AirMap 플랫폼의 모든 서비스가 다섯 시간 동안 응답하지 않았다.AirMap · 2018

원인 소프트웨어 결함