Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

오래된 엔드포인트 라우팅

Stale endpoint routing · stale-service-routing

9건 · 2017년부터 2025년

원인 소프트웨어 결함5건 DNS·네트워크 장애2건 운영 실수1건 업그레이드로 깨진 호환성1건

구성 요소 인그레스 컨트롤러6건 클라우드 로드 밸런서3건 conntrack 테이블3건 kube-proxy3건 CoreDNS

기여 요인 기본 설정 방치3건 모니터링 사각지대2건 미검증 가정1건 자동화 증폭1건

조직 Cisco ThousandEyes1건 Cresta1건 Honeycomb1건 Lotte E-commerce1건 Monzo

사례

IL-0104 Istio 의 공격적인 DNS 캐시 갱신과 클라이언트 포트 재사용, kube-proxy 가 종료된 파드의 conntrack 항목을 정리하지 않는 문제, 2분짜리 UDP conntrack 기본 타임아웃이 겹쳐 CoreDNS 파드가 OOMKilled 됐다.Cisco ThousandEyes · 2025
원인 소프트웨어 결함
IL-0081 ingress-nginx 의 enable-serial-reloads 옵션이 NGINX 리로드 중에 엔드포인트 동적 갱신을 막아, 배포 중 트래픽이 이미 없는 파드로 가면서 API 요청이 타임아웃됐다.Cresta · 2025
원인 소프트웨어 결함
IL-0203 클러스터 시스템 업데이트 뒤 AWS Load Balancer Controller 가 실패해 새 파드가 ALB 에 등록되지 않았고, Honeycomb EU1 의 수집과 UI 가 11분 동안 멈췄다

그래프에서 보기

2건

쿠버네티스 API 서버2건

파드 종료 처리2건

파드용 자격 증명 중개자1건

external-dns1건

수평 파드 오토스케일러1건

영구 볼륨과 스테이트풀셋1건

늦게 드러난 변경1건

초기 신호 무시1건

수동 조치 악화1건

캐시 부재1건

파괴적 변경 보호 장치 부재1건

장애 중첩1건

롤백 무효1건

단일 장애점1건

스테이징 불일치1건

1건

UK Ministry of Justice1건

Honeycomb · 2024

원인 업그레이드로 깨진 호환성

IL-0178 EKS 에서 HPA 가 파드를 줄일 때 엔드포인트 제거보다 컨테이너 종료가 먼저 끝나 502 가 났고, 블루/그린 전환 뒤에는 conntrack 에 남은 연결이 삭제된 파드로 가서 클라이언트가 타임아웃을 받았다.Lotte E-commerce · 2022

원인 DNS·네트워크 장애

IL-0089 테스트 클러스터 삭제 스크립트가 운영 클러스터 live-1 을 대상으로 실행돼 인그레스 컨트롤러, 모니터링, 인증서 구성 요소가 지워지고 사용자 서비스에 접속할 수 없게 됐다.UK Ministry of Justice · 2020

원인 운영 실수

IL-0049 CoreDNS 파드가 줄어든 뒤 kube-proxy 가 conntrack 항목을 지우지 못해 일부 서비스의 DNS 요청이 없어진 파드로 가면서 5xx 가 쏟아졌다Preply · 2020

원인 DNS·네트워크 장애

IL-0062 GKE Ingress 뒤의 파드가 SIGTERM 을 받자마자 새 연결을 받지 않고 정상 종료해서 API 에 가끔 502 오류가 났다Ravelin · 2019

원인 소프트웨어 결함

IL-0072 etcd 쓰기 지연으로 API 서버가 오래된 데이터를 읽어 클러스터 상태가 두 가지로 번갈아 보였고, 주 운영 클러스터 전체가 약 4시간 멈췄다Nordstrom · 2017

원인 소프트웨어 결함

IL-0003 etcd 클러스터 재구성 뒤 쿠버네티스 버그로 linkerd 가 서비스 위치 갱신을 받지 못했고, linkerd 를 모두 재시작하자 엔드포인트가 없는 서비스를 파싱하지 못하는 오류가 드러나 플랫폼 전체가 멈췄다Monzo · 2017

원인 소프트웨어 결함