Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

OOMKilled

OOMKilled · oom-killed

20건 · 2018년부터 2026년

원인 용량 한계13건 설정 변경4건 소프트웨어 결함2건 DNS·네트워크 장애1건

구성 요소 컨테이너 메모리 한도13건 CoreDNS4건 kubelet4건 Prometheus4건 쿠버네티스 API 서버

기여 요인 기본 설정 방치6건 재시도 폭주6건 단일 장애점5건 과도한 영향 범위4건

조직 Grafana Labs2건 Scaleway2건 Zalando2건 AdGuard VPN1건 Backpackr

사례

IL-0102 배포와 워커 오토스케일링 폭주가 겹치자 크기를 고정해 둔 CoreDNS 가 메모리 한도를 넘겨 재시작된 뒤 회복하지 못했고, Buildkite 사이트 전체가 약 30분 멈췄다.Buildkite · 2026
원인 용량 한계
IL-0063 Redis 스테이트풀셋을 다시 만들자 Redis 클러스터가 한꺼번에 재시작되며 일부가 망가졌고, 재연결 폭주로 백엔드가 OOM 으로 죽어 AdGuard VPN 이 약 50분 멈췄다.AdGuard VPN · 2025
원인 설정 변경
IL-0104 Istio 의 공격적인 DNS 캐시 갱신과 클라이언트 포트 재사용, kube-proxy 가 종료된 파드의 conntrack 항목을 정리하지 않는 문제, 2분짜리 UDP conntrack 기본 타임아웃이 겹쳐 CoreDNS 파드가 OOMKilled 됐다.

그래프에서 보기

3건

설정 템플릿2건

애플리케이션 데이터베이스2건

클라이언트 쪽 DNS 리졸버와 캐시2건

인그레스 컨트롤러2건

서비스 디스커버리2건

텔레메트리 에이전트2건

인메모리 캐시1건

conntrack 테이블1건

수평 파드 오토스케일러1건

리눅스 커널1건

영구 볼륨과 스테이트풀셋1건

파드 우선순위와 선점1건

컨테이너 레지스트리와 자격 증명1건

모니터링 사각지대4건

리소스 요청과 한도 미설정4건

여유 용량 부재4건

자동화 증폭3건

초기 신호 무시3건

미검증 가정2건

한계 미인지2건

수동 조치 악화2건

한계 경보 부재2건

캐시 부재2건

스테이징 불일치2건

용량 계획 부재1건

헬스 프로브 부재1건

단계적 배포 부재1건

장애 중첩1건

부분 배포1건

리뷰 누락1건

1건

Blue Matador1건

Cisco ThousandEyes1건

Saifeddine Rajhi1건

UK Ministry of Justice1건

Cisco ThousandEyes · 2025

원인 소프트웨어 결함

IL-0027 CoreDNS 파드가 모두 한 노드에 몰린 채 그 노드의 메모리가 고갈되자 DNS 가 응답하지 못해 아이디어스 서비스 전체가 멈췄다Backpackr · 2025

원인 용량 한계

IL-0044 kube-prometheus-stack 업그레이드 뒤 Prometheus 가 WAL 재생 중 메모리를 50Gi 넘게 써서 시작할 때마다 OOMKilled 로 죽었다Saifeddine Rajhi · 2024

원인 용량 한계

IL-0110 Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다.DFDS · 2024

원인 용량 한계

IL-0168 새 쿠버네티스 릴리스 뒤 많은 Kapsule 클러스터가 동시에 자동 업그레이드되면서 Kubernetes API 가 과부하로 OOM 이 났고, 새 노드 인증 방식의 재시도가 혼잡을 키워 노드가 Not Ready 가 됐다.Scaleway · 2024

원인 용량 한계

IL-0169 FR-PAR 의 Scaleway Kubernetes API 가 메모리 부족으로 쓰러져 노드 인증이 막히고 Kapsule 노드가 NotReady 가 됐다.Scaleway · 2024

원인 용량 한계

IL-0016 네임스페이스와 규칙이 늘어 live 클러스터의 Prometheus 가 메모리 부족으로 OOMKilled 되며 플랫폼 모니터링이 끊겼다UK Ministry of Justice · 2023

원인 용량 한계

IL-0195 200개가 넘는 노드의 고객 클러스터에서 Cilium 파드가 LIST 요청을 한꺼번에 쏟아내 kube-apiserver 가 메모리를 다 쓰고 죽기를 되풀이했다.Palark · 2023

원인 용량 한계

IL-0191 Loki distributor 서비스에 레이블 셀렉터가 하나 더 들어가 롤아웃 중 새 파드 몇 개에만 쓰기 트래픽이 몰렸고, 그 파드들이 OOM으로 죽으면서 로그 쓰기 경로가 약 25분간 멈췄다.Grafana Labs · 2022

원인 설정 변경

IL-0206 GKE 파드 안의 Consul 에이전트가 메모리 급증으로 거듭 OOM kill 되어 Rails 파드가 데이터베이스 복제본을 찾지 못했고, 모든 쿼리가 primary 로 몰려 GitLab.com 이 느려졌다.GitLab · 2022

원인 용량 한계

IL-0199 운영에 꼭 필요하지 않은 컨테이너가 메모리 한도를 넘어 파드가 사용 불가로 표시됐고, DNS 작업 탓에 레지스트리에 접속하지 못해 파드가 다시 뜨지 못하면서 GitHub.com 이 4시간 넘게 멈췄다.GitHub · 2020

원인 DNS·네트워크 장애

IL-0176 시계열 급증으로 호스트 메모리가 바닥나자 oom_score_adj 999 를 받은 Prometheus 컨테이너가 커널 OOM Killer 에게 먼저 죽어 CrashLoopBackOff 에 빠졌다.LINE · 2020

원인 용량 한계

IL-0004 새 Cortex 클러스터에서 기본 우선순위를 받은 파드가 우선순위가 없는 운영 Ingester 를 연쇄적으로 선점해 Hosted Prometheus 쓰기가 실패했다Grafana Labs · 2019

원인 설정 변경

IL-0026 메모리 제한이 없는 fluentd-sumologic 파드가 메모리를 다 써서 운영 쿠버네티스 노드 두 대에 이틀 연속 SystemOOM 이 났다Blue Matador · 2019

원인 용량 한계

IL-0011 HAProxy 인그레스 템플릿이 백엔드 파드를 IP 순으로 정렬해 일부 파드에 요청이 몰리고 인그레스 컨테이너가 OOMKilled 됐다Skyscanner · 2019

원인 소프트웨어 결함

IL-0035 ElastAlert 에 새로 넣은 알림 규칙 때문에 ElastAlert 파드가 메모리를 끝없이 써서 노드가 잇달아 NotReady 가 되었고, 같은 클러스터의 도구와 Grafana, Prometheus 가 함께 흔들렸다.NU.nl · 2019

원인 설정 변경

IL-0001 CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다Zalando · 2019

원인 용량 한계

IL-0031 API 서버가 OOMKill로 죽자 Skipper 인그레스가 라우트를 잃었고, 고객 트래픽이 끊기며 IAM 서비스에서 404 오류가 났다Zalando · 2018

원인 용량 한계