Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

구성 요소

인그레스 컨트롤러

Ingress controller · ingress

25건 · 2017년부터 2026년

원인 소프트웨어 결함6건 업그레이드로 깨진 호환성5건 운영 실수4건 용량 한계3건 배포 결함3건 설정 변경2건 클라우드 제공자 장애1건 DNS·네트워크 장애1건

기여 요인 기본 설정 방치6건 미검증 가정5건 과도한 영향 범위5건 모니터링 사각지대5건

증상 서비스 중단13건 오류율 상승7건 오래된 엔드포인트 라우팅6건 배포 실패3건

조직 UK Ministry of Justice5건 2i2c2건 DFDS2건 OpenAI2건 Backpackr

사례, 심각도 순

IL-0098 ingress-nginx 에서 nginx-ingress 로 옮긴 뒤 같은 호스트를 나눠 쓰는 인그레스들의 동작이 바뀌어 cert-manager 가 새 TLS 인증서를 받지 못했다.2i2c · 2026
원인 업그레이드로 깨진 호환성
IL-0092 ingress-nginx 를 1.12.0 에서 1.14.3 으로 올리자 새 ModSecurity 와 OWASP Core Rule Set 이 정상 요청을 오탐으로 막아 HMPPS 사용자가 인증하지 못했다.UK Ministry of Justice · 2026
원인 업그레이드로 깨진 호환성
IL-0188 EKS 롤링 업데이트 때 Kubernetes 는 새 파드가 Ready 가 되자마자 옛 파드를 지웠지만 ALB 는 새 파드를 아직 healthy 로 보지 않아, 배포마다 약 30초 동안 502 가 났다.

그래프에서 보기

스테이징 불일치5건

늦게 드러난 변경4건

단일 장애점4건

파괴적 변경 보호 장치 부재3건

초기 신호 무시2건

런북 부재2건

장애 중첩2건

자동화 증폭1건

수동 조치 악화1건

설정 테스트 부재1건

여유 용량 부재1건

단계적 배포 부재1건

재시도 폭주1건

리뷰 누락1건

미뤄 둔 업그레이드1건

지연 시간 증가3건

간헐적 연결 실패3건

간헐적 타임아웃3건

리소스 삭제3건

데이터베이스 과부하2건

프로브 실패2건

오토스케일러 오동작1건

노드 증설 실패1건

연결 리셋1건

컨트롤 플레인 무응답1건

컨테이너 재시작 반복1건

모니터링 중단1건

파드 Pending1건

요청 오라우팅1건

API 조회 결과 불일치1건

무단 접근과 낯선 워크로드1건

부하 불균형1건

업그레이드 정체1건

1건

Lotte E-commerce1건

loveholidays1건

Yonghyun Kim1건

Yonghyun Kim · 2025

원인 배포 결함

IL-0095 엔지니어가 kubectl 이 다른 클러스터를 가리키는 줄 모르고 prod 네임스페이스를 지워 LEAP JupyterHub 가 약 1시간 동안 멈췄다.2i2c · 2025

원인 운영 실수

IL-0170 설날 이벤트 트래픽이 평소의 3배를 넘자 Istio ingressGateway 가 있는 EKS 노드의 nf_conntrack 테이블이 가득 차 패킷이 버려졌고, 웹과 앱 서비스 전체가 멈췄다.Backpackr · 2025

원인 용량 한계

IL-0053 Ingress NGINX Controller의 어드미션 웹훅이 인증 없이 열려 있어, 조작한 Ingress 객체로 NGINX 설정을 주입해 원격 코드를 실행하고 클러스터의 모든 Secret을 읽을 수 있었다Wiz · 2025

원인 소프트웨어 결함

IL-0081 ingress-nginx 의 enable-serial-reloads 옵션이 NGINX 리로드 중에 엔드포인트 동적 갱신을 막아, 배포 중 트래픽이 이미 없는 파드로 가면서 API 요청이 타임아웃됐다.Cresta · 2025

원인 소프트웨어 결함

IL-0117 인그레스 업그레이드가 네트워크 컨트롤 플레인 회귀를 일으켜 데이터 플레인이 잠깐 끊겼고, 한꺼번에 재시작한 서비스들이 백엔드 저장소에 과부하를 일으켜 OpenAI API 오류가 늘었다OpenAI · 2024

원인 업그레이드로 깨진 호환성

IL-0203 클러스터 시스템 업데이트 뒤 AWS Load Balancer Controller 가 실패해 새 파드가 ALB 에 등록되지 않았고, Honeycomb EU1 의 수집과 UI 가 11분 동안 멈췄다Honeycomb · 2024

원인 업그레이드로 깨진 호환성

IL-0178 EKS 에서 HPA 가 파드를 줄일 때 엔드포인트 제거보다 컨테이너 종료가 먼저 끝나 502 가 났고, 블루/그린 전환 뒤에는 conntrack 에 남은 연결이 삭제된 파드로 가서 클라이언트가 타임아웃을 받았다.Lotte E-commerce · 2022

원인 DNS·네트워크 장애

IL-0177 다른 팀의 설정 배포로 공유 L7 HAProxy 가 재로드될 때마다 messaging-hub 의 웹소켓 연결이 한꺼번에 끊겼다.LINE+ · 2022

원인 설정 변경

IL-0115 OpenAI 의 운영 AKS 클러스터 세 개 중 하나가 사람의 실수로 통째로 내려가 Codex, Embeddings, 구형 GPT 모델과 파인튜닝 모델이 최대 12시간 동안 제대로 응답하지 못했다OpenAI · 2022

원인 운영 실수

IL-0106 잘못된 IngressRoute 매니페스트가 Traefik v2 버그를 건드려 Traefik 파드가 모두 재시작된 뒤 Kubernetes 의 모든 서비스가 404 를 냈다DFDS · 2021

원인 소프트웨어 결함

IL-0111 메인 인그레스 컨트롤러를 Traefik v2 로 바꾸자 X-Forwarded 헤더가 전달되지 않아 Okta 로그인이 깨졌고, DFDS 온라인 예약이 한 시간 넘게 멈췄다DFDS · 2021

원인 설정 변경

IL-0090 ModSec 인그레스 컨트롤러 모듈을 v3.33.0 으로 올린 뒤 검증 웹훅 호출이 x509 인증서 오류로 실패해, 모든 인그레스 생성과 변경이 막히고 사용자 애플리케이션 배포가 멈췄다.UK Ministry of Justice · 2021

원인 업그레이드로 깨진 호환성

IL-0086 테스트 Kubernetes 클러스터용 배포가 운영 클러스터의 Traefik 과 Calico 리소스까지 지워 CircleCI UI 와 runner.circleci.com 이 1시간 54분 동안 내려갔다.CircleCI · 2021

원인 배포 결함

IL-0089 테스트 클러스터 삭제 스크립트가 운영 클러스터 live-1 을 대상으로 실행돼 인그레스 컨트롤러, 모니터링, 인증서 구성 요소가 지워지고 사용자 서비스에 접속할 수 없게 됐다.UK Ministry of Justice · 2020

원인 운영 실수

IL-0088 팀별 ingress 컨트롤러 모듈 0.1.0 이 만든 검증 웹훅이 live-1 클러스터에서 새 Ingress 생성을 모두 x509 오류로 막았다UK Ministry of Justice · 2020

원인 배포 결함

IL-0093 리더 ingress 컨트롤러 파드가 공유 메모리를 다 써서 ingress 컨트롤러 파드 6개 중 4개가 크래시 루프에 빠졌다UK Ministry of Justice · 2020

원인 용량 한계

IL-0062 GKE Ingress 뒤의 파드가 SIGTERM 을 받자마자 새 연결을 받지 않고 정상 종료해서 API 에 가끔 502 오류가 났다Ravelin · 2019

원인 소프트웨어 결함

IL-0011 HAProxy 인그레스 템플릿이 백엔드 파드를 IP 순으로 정렬해 일부 파드에 요청이 몰리고 인그레스 컨테이너가 OOMKilled 됐다Skyscanner · 2019

원인 소프트웨어 결함

IL-0014 GKE 를 1.12.5-gke.10 으로 올리는 중 노드 풀 업그레이드가 멈추고 인그레스와 HPA 가 망가졌다loveholidays · 2019

원인 클라우드 제공자 장애

IL-0054 GKE 에서 옛 노드 풀을 드레인하자 로드밸런서가 ingress-nginx 파드가 없는 새 노드만 가리켜 클러스터의 모든 인그레스 트래픽이 끊겼다DevOps Hof · 2019

원인 운영 실수

IL-0031 API 서버가 OOMKill로 죽자 Skipper 인그레스가 라우트를 잃었고, 고객 트래픽이 끊기며 IAM 서비스에서 404 오류가 났다Zalando · 2018

원인 용량 한계

IL-0072 etcd 쓰기 지연으로 API 서버가 오래된 데이터를 읽어 클러스터 상태가 두 가지로 번갈아 보였고, 주 운영 클러스터 전체가 약 4시간 멈췄다Nordstrom · 2017

원인 소프트웨어 결함