Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

원인

운영 실수

Operator error · human-operation

7건 · 2019년부터 2025년

구성 요소 인그레스 컨트롤러4건 노드 풀2건 영구 볼륨과 스테이트풀셋2건 CI 시스템1건 클라우드 로드 밸런서1건 파드용 자격 증명 중개자1건 애플리케이션 데이터베이스1건 Elasticsearch 와 OpenSearch1건 external-dns1건 Helm1건 잡과 크론잡1건 kube-proxy1건 노드 런치 템플릿1건 모델 허브1건 Prometheus1건 컨테이너 레지스트리와 자격 증명1건 Terraform1건

기여 요인 파괴적 변경 보호 장치 부재4건 미검증 가정2건 설정 내 자격 증명1건 기본 설정 방치1건

증상 서비스 중단5건 리소스 삭제3건 오류율 상승2건 이미지 풀 실패1건

조직 UK Ministry of Justice2건 2i2c1건 DevOps Hof1건 GitLab1건 OpenAI

사례

IL-0095 엔지니어가 kubectl 이 다른 클러스터를 가리키는 줄 모르고 prod 네임스페이스를 지워 LEAP JupyterHub 가 약 1시간 동안 멈췄다.2i2c · 2025
IL-0018 DockerHub 비밀번호를 바꾼 뒤 Concourse 와 EKS 클러스터 노드가 Docker Hub 에서 이미지를 받지 못했다UK Ministry of Justice · 2023
IL-0207 로컬 개발 환경에서 돌린 작업이 운영 컨텍스트로 넘어가 Kubernetes 클러스터의 Consul 릴리스를 통째로 지웠고, Patroni 가 무너져 GitLab.com 전체가 5XX 오류를 냈다.GitLab · 2022
IL-0115 OpenAI 의 운영 AKS 클러스터 세 개 중 하나가 사람의 실수로 통째로 내려가 Codex, Embeddings, 구형 GPT 모델과 파인튜닝 모델이 최대 12시간 동안 제대로 응답하지 못했다OpenAI · 2022
IL-0197 Elasticsearch StatefulSet 을 새 퍼시스턴트 볼륨으로 옮기던 중 빈 볼륨으로 다시 뜬 elasticsearch-0 이 혼자 새 클러스터를 만들어 스플릿 브레인이 났다.Palark · 2021
IL-0089 테스트 클러스터 삭제 스크립트가 운영 클러스터 live-1 을 대상으로 실행돼 인그레스 컨트롤러, 모니터링, 인증서 구성 요소가 지워지고 사용자 서비스에 접속할 수 없게 됐다. · 2020

그래프에서 보기

런북 부재1건

여유 용량 부재1건

장애 중첩1건

공용 자격 증명1건

미뤄 둔 업그레이드1건

간헐적 타임아웃1건

모니터링 중단1건

프로브 실패1건

스플릿 브레인1건

오래된 엔드포인트 라우팅1건

1건

UK Ministry of Justice

IL-0054 GKE 에서 옛 노드 풀을 드레인하자 로드밸런서가 ingress-nginx 파드가 없는 새 노드만 가리켜 클러스터의 모든 인그레스 트래픽이 끊겼다DevOps Hof · 2019