Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

구성 요소

텔레메트리 에이전트

Telemetry agent · telemetry-agent

17건 · 2018년부터 2026년

원인 용량 한계6건 설정 변경3건 배포 결함3건 소프트웨어 결함3건 의존성 장애1건 DNS·네트워크 장애1건

기여 요인 미검증 가정6건 모니터링 사각지대5건 과도한 영향 범위4건 기본 설정 방치3건

증상 모니터링 중단5건 컨트롤 플레인 무응답4건 오류율 상승4건 서비스 중단4건

조직 DFDS2건 UK Ministry of Justice2건 Adevinta1건 Airbnb1건 Blue Matador

사례, 심각도 순

IL-0109 로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다.DFDS · 2023 · sev1
원인 설정 변경
IL-0073 Kafka 연결이 끊기자 로깅 사이드카가 Docker 데몬에 부하를 주어 노드가 줄줄이 비정상이 되었고, 재스케줄링으로 생긴 노드 약 41,000개가 Consul gossip 메시를 오염시켜 Vault 와 배포 엔진까지 멈췄다Target · 2019 · sev1
원인 의존성 장애
IL-0179 DEBUG 로그가 쏟아지자 동기 로깅을 하던 요청 스레드들이 가득 찬 stdout 파이프에서 멈춘 채 DB 커넥션을 쥐고 있어, HikariCP 커넥션 풀이 고갈되고 요청이 30초 주기로 한꺼번에 실패했다.

그래프에서 보기

한계 미인지3건

자동화 증폭2건

초기 신호 무시2건

미패치 알려진 버그2건

디버그 접근 제한2건

수동 조치 악화2건

한계 경보 부재2건

리소스 요청과 한도 미설정2건

스테이징 불일치2건

캐시로 가려진 장애1건

용량 계획 부재1건

설정 테스트 부재1건

런북 부재1건

단계적 배포 부재1건

리뷰 누락1건

단일 장애점1건

DNS 조회 실패3건

지연 시간 증가3건

컨테이너 재시작 반복2건

노드 NotReady2건

커넥션 풀 고갈1건

컨트롤 플레인 지연1건

자격 증명 획득 실패1건

데이터베이스 과부하1건

파일 디스크립터 고갈1건

GPU 인식 불가1건

간헐적 타임아웃1건

로그 폭증1건

프로브 실패1건

리소스 삭제1건

부하 불균형1건

1건

Civis Analytics1건

Google Cloud1건

Hyperconnect1건

PrometheusKube1건

MUSINSA · 2026

원인 설정 변경

IL-0160 고쳐서 다시 돌린 레거시 GPU 모니터링 스크립트의 펌웨어 조회가 GSP 레이스 컨디션을 일으켜 Linode 의 RTX 4000 Ada GPU 가 잠기고 LKE 워커 노드의 GPU 작업이 멈췄다Linode · 2026

원인 배포 결함

IL-0005 새 텔레메트리 서비스가 모든 노드에서 무거운 쿠버네티스 API 요청을 보내 대형 클러스터의 컨트롤 플레인이 무너졌고, DNS 기반 서비스 디스커버리가 깨져 OpenAI 의 모든 서비스가 멈췄다OpenAI · 2024

원인 설정 변경

IL-0042 OpenSearch 디스크가 가득 찬 동안 fluent-bit 가 로그를 처리하지 못해 Elasticsearch 와 OpenSearch 에 애플리케이션 로그가 들어오지 않았다.UK Ministry of Justice · 2024

원인 용량 한계

IL-0110 Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다.DFDS · 2024

원인 용량 한계

IL-0043 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌어 Kibana의 애플리케이션 로그에 긴 공백이 생겼다UK Ministry of Justice · 2023

원인 용량 한계

IL-0142 GKE 1.24 이상 클러스터에서 로그를 처리하는 구성 요소의 새 버전이 불필요한 오류 로그를 쏟아내 일부 고객의 Logging API 쓰기 할당량이 바닥났다Google Cloud · 2023

원인 배포 결함

IL-0083 멀티 테넌트 쿠버네티스 클러스터에서 노드 로컬 dnsmasq 가 동시 질의 한도에 걸리고 cluster.local 응답을 캐시하지 못한 데다 ndots 검색 도메인 질의가 CoreDNS 로 몰려, 서비스 간 호출이 간헐적인 5xx 를 냈다.Adevinta · 2023

원인 DNS·네트워크 장애

IL-0174 Fluent Bit 2.0 으로 올린 로그 수집 사이드카 가운데 Kafka output 플러그인을 쓰는 컨테이너가 SIGSEGV 로 계속 재시작됐다.Hyperconnect · 2023

원인 소프트웨어 결함

IL-0194 kube-apiserver 재시작 뒤 Vector DaemonSet 의 파드 list 요청이 한꺼번에 몰려 etcd 메모리가 세 배 가까이 늘고 마스터 노드가 연쇄적으로 재시작했다.Palark · 2023

원인 용량 한계

IL-0041 fluent-bit 이 오류 없이 멈춰 운영 노드 한 대의 애플리케이션 로그가 Elasticsearch 로 전혀 가지 않았다.PrometheusKube · 2020

원인 소프트웨어 결함

IL-0034 메트릭 에이전트 사이드카가 업그레이드 중 크래시하자 클러스터의 모든 파드가 준비되지 않은 상태가 되어 서비스가 트래픽을 받지 못했다Airbnb · 2019

원인 배포 결함

IL-0026 메모리 제한이 없는 fluentd-sumologic 파드가 메모리를 다 써서 운영 쿠버네티스 노드 두 대에 이틀 연속 SystemOOM 이 났다Blue Matador · 2019

원인 용량 한계

IL-0075 클러스터가 EC2 인스턴스 약 290대로 커지자 노드마다 도는 Datadog 에이전트가 쿠버네티스 API 를 폴링하면서 API 서버가 CPU 와 메모리를 다 써 쿠버네티스 컨트롤 플레인을 쓸 수 없게 됐다.Civis Analytics · 2019

원인 용량 한계

IL-0051 외부 업체의 로그 클라이언트가 새 컨테이너가 뜰 때마다 파일 디스크립터를 다시 열고 이전 것을 닫지 않아 쿠버네티스 노드가 too many open files 로 내려갔다thredUP · 2018

원인 소프트웨어 결함