Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

간헐적 타임아웃

Intermittent timeouts · intermittent-timeouts

21건 · 2019년부터 2026년

원인 소프트웨어 결함7건 용량 한계5건 설정 변경3건 DNS·네트워크 장애3건 배포 결함1건 운영 실수1건 업그레이드로 깨진 호환성1건

구성 요소 리눅스 커널5건 kubelet4건 클라우드 로드 밸런서3건 conntrack 테이블3건 클라이언트 쪽 DNS 리졸버와 캐시

기여 요인 기본 설정 방치7건 모니터링 사각지대4건 자동화 증폭3건 한계 미인지3건

조직 Microsoft Azure2건 Airbnb1건 Cresta1건 DFDS1건 DigitalOcean1건

사례

IL-0179 DEBUG 로그가 쏟아지자 동기 로깅을 하던 요청 스레드들이 가득 찬 stdout 파이프에서 멈춘 채 DB 커넥션을 쥐고 있어, HikariCP 커넥션 풀이 고갈되고 요청이 30초 주기로 한꺼번에 실패했다.MUSINSA · 2026
원인 설정 변경
IL-0136 Sweden Central 리전에서 내부 서비스 배포가 캐시를 비워 메타데이터 백엔드에 평소 20배의 트래픽이 몰렸고, 데이터베이스 연결에 기대는 헬스 체크가 인스턴스를 계속 재시작시켜 Azure OpenAI 요청이 6시간 가까이 실패했다Microsoft Azure · 2026
원인 배포 결함
IL-0155 NYC1 의 일부 DOKS 클러스터에서 공유 CPU 노드 위의 CoreDNS 때문에 DNS 가 간헐적으로 실패하고 NodeNotReady 가 났다

그래프에서 보기

3건

인그레스 컨트롤러3건

노드 운영체제 이미지3건

애플리케이션 데이터베이스2건

컨테이너 메모리 한도2건

AWS VPC CNI2건

인메모리 캐시1건

컨테이너 런타임1건

컨테이너 CPU 한도1건

수평 파드 오토스케일러1건

모델 추론 서버1건

노드 런치 템플릿1건

애플리케이션 로깅 라이브러리1건

모델 허브1건

파드 종료 처리1건

텔레메트리 에이전트1건

VPC DNS 리졸버1건

과도한 영향 범위2건

미패치 알려진 버그2건

파괴적 변경 보호 장치 부재2건

여유 용량 부재2건

장애 중첩2건

재시도 폭주2건

단일 장애점2건

미검증 가정1건

피크 시간 변경1건

한계 경보 부재1건

캐시 부재1건

헬스 프로브 부재1건

리소스 요청과 한도 미설정1건

런북 부재1건

단계적 배포 부재1건

부분 배포1건

의존성에 묶인 헬스 체크1건

미뤄 둔 업그레이드1건

Google Cloud1건

Grafana Labs1건

Lotte E-commerce1건

DigitalOcean · 2026

원인 용량 한계

IL-0048 대형 EKS 클러스터에서 CoreDNS 가 VPC DNS 리졸버로 보내는 질의가 링크 로컬 트래픽의 초당 1024 패킷 한도에 걸려 DNS 조회가 간헐적으로 타임아웃됐다.unknown · 2025

원인 용량 한계

IL-0080 트래픽이 몰린 GKE 클러스터에서 kube-dns 가 DNS 질의를 감당하지 못해 여러 서비스의 이름 해석이 실패하고 운영 장애로 번졌다.Mercari · 2025 · sev1

원인 용량 한계

IL-0201 프레임워크 업그레이드가 쿠버네티스 인프라에서 커널 패닉을 일으켜 GitHub.com 의 웹과 API 요청이 15시간 넘게 간헐적으로 실패했다GitHub · 2025

원인 업그레이드로 깨진 호환성

IL-0081 ingress-nginx 의 enable-serial-reloads 옵션이 NGINX 리로드 중에 엔드포인트 동적 갱신을 막아, 배포 중 트래픽이 이미 없는 파드로 가면서 API 요청이 타임아웃됐다.Cresta · 2025

원인 소프트웨어 결함

IL-0131 새로운 형태의 GenerateContent 요청이 Vertex AI 예측 API 서버에 세그폴트를 일으켰고, 동시에 재시작하는 서버가 늘자 서빙 용량이 모자라 여러 리전에서 오류가 치솟았다.Google Cloud · 2024

원인 소프트웨어 결함

IL-0161 앞선 API 업데이트가 의도대로 동작하지 않아 토론토 데이터센터에서 새 LKE 클러스터 프로비저닝이 타임아웃으로 사흘 넘게 실패했다.Linode · 2024

원인 소프트웨어 결함

IL-0169 FR-PAR 의 Scaleway Kubernetes API 가 메모리 부족으로 쓰러져 노드 인증이 막히고 Kapsule 노드가 NotReady 가 됐다.Scaleway · 2024

원인 용량 한계

IL-0112 나중에 회수된 EKS 노드 AMI 로 노드를 교체한 뒤 노드가 PLEG is not healthy 를 보고하며 NotReady 를 오갔고 파드 네트워크 타임아웃이 났다DFDS · 2022

원인 소프트웨어 결함

IL-0178 EKS 에서 HPA 가 파드를 줄일 때 엔드포인트 제거보다 컨테이너 종료가 먼저 끝나 502 가 났고, 블루/그린 전환 뒤에는 conntrack 에 남은 연결이 삭제된 파드로 가서 클라이언트가 타임아웃을 받았다.Lotte E-commerce · 2022

원인 DNS·네트워크 장애

IL-0115 OpenAI 의 운영 AKS 클러스터 세 개 중 하나가 사람의 실수로 통째로 내려가 Codex, Embeddings, 구형 GPT 모델과 파인튜닝 모델이 최대 12시간 동안 제대로 응답하지 못했다OpenAI · 2022

원인 운영 실수

IL-0208 GitLab Helm 차트 업그레이드가 Service 와 Deployment 의 포트 이름을 바꿔 GCP 로드 밸런서가 다시 구성되는 동안 GitLab.com 요청이 느려지고 50x 오류가 났다GitLab · 2022

원인 설정 변경

IL-0146 Central India 에서 새로 만든 Azure CNI 클러스터의 VM 이 높은 값의 MAC 주소를 받으면서 bridge 모드 Azure CNI 의 오래된 버그가 드러나 터널 연결이 끊기고 kubectl exec 와 파드 간 통신이 타임아웃됐다.Microsoft Azure · 2020

원인 소프트웨어 결함

IL-0190 쿠버네티스 업그레이드로 etcd 리더가 있던 노드가 갑자기 종료된 뒤, Cortex distributor 두 개가 옛 리더와 맺은 TCP 연결이 멈춘 채 그 연결을 계속 써서 런던 리전 Hosted Prometheus 쓰기가 12분 동안 일부 실패했다.Grafana Labs · 2020

원인 소프트웨어 결함

IL-0012 CPU limit 과 커널 CFS 쿼터 버그로 파드가 과하게 스로틀링돼 헬스 체크가 실패하고 애플리케이션이 멈췄다Omio · 2020

원인 소프트웨어 결함

IL-0033 kube-dns 파드 사이의 트래픽 불균형과 DNS 초당 패킷 한도 때문에 외부 DNS 조회가 많은 여러 서비스의 지연 시간이 20초까지 늘었다Airbnb · 2019

원인 용량 한계

IL-0057 EKS 노드의 SNAT 과정에서 conntrack 경합으로 바깥으로 나가는 TCP 연결이 1초나 3초씩 늦어져, 서비스 간 호출이 많은 서비스의 p99 지연이 늘었다.Prezi · 2019

원인 DNS·네트워크 장애

IL-0047 conntrack 경합으로 DNS 조회가 5초씩 늦어져 파드 사이 요청이 간헐적으로 5초, 10초, 15초씩 지연되었다.MindTickle · 2019

원인 DNS·네트워크 장애

IL-0035 ElastAlert 에 새로 넣은 알림 규칙 때문에 ElastAlert 파드가 메모리를 끝없이 써서 노드가 잇달아 NotReady 가 되었고, 같은 클러스터의 도구와 Grafana, Prometheus 가 함께 흔들렸다.NU.nl · 2019

원인 설정 변경