Incident Library
적용된 필터 원인용량 한계증상OOMKilled모두 풀기검색어 없이 필터만 적용한 목록입니다. 최근 사례부터입니다.
추천 필터 검색하면 검색어에서 찾은 분류 값이 여기에 나옵니다.

그래프

  • 원인
  • 구성 요소
  • 증상
  • 기여 요인
  • 사례

사례13건

13건 중 13~13번째

  1. IL-0031 API 서버가 OOMKill로 죽자 Skipper 인그레스가 라우트를 잃었고, 고객 트래픽이 끊기며 IAM 서비스에서 404 오류가 났다
    Zalando2018
    증상

    고객에게 영향이 간 장애였다. IAM 서비스에서 404 오류가 나기 시작했다.

    오류율 상승컨트롤 플레인 무응답OOMKilled
    촉발

    발표는 문제의 출발점으로 CronJob 매니페스트 하나를 보여 주었다. 이 매니페스트에는 concurrencyPolicy, successfulJobsHistoryLimit, failedJobsHistoryLimit 필드가 CronJob spec이 아니라 파드 템플릿 spec 안에 들어 있었다. 실행 일정은 평일 9시부터 19시까지 15분마다였다.

    원인
    용량 한계
    구성 요소
    쿠버네티스 API 서버인그레스 컨트롤러
    기여 요인
    단일 장애점과도한 영향 범위
    조치
    • CronJob 매니페스트를 고쳤다. concurrencyPolicy와 이력 보존 개수 필드를 CronJob spec으로 옮기고, Job에 activeDeadlineSeconds: 120을 넣고, 실행 일정을 바꿨다.
    후속 조치
    • API 서버에 문제가 생겨도 인그레스가 healthy 상태를 유지하도록 고친다.
    • API 서버가 응답하지 않아도 인그레스가 마지막으로 받은 라우트 목록을 계속 쓰도록 고친다.
    • ResourceQuota로 파드 수 상한을 1500개로 둔다.
    교훈

    ALB는 등록된 호스트가 모두 unhealthy를 보고하면 모든 호스트로 트래픽을 보낸다. 인그레스는 API 서버에 문제가 생겨도 healthy 상태를 유지해야 하고, 마지막으로 받은 라우트 목록을 계속 써야 한다. 파드 수에는 ResourceQuota로 상한을 걸어 둔다.

    사례 보기
내 클러스터에도 있는지 확인하기

이 13건에서 가장 많이 나오는 구성 요소: 컨테이너 메모리 한도, CoreDNS. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.

kubegap 열기

원인별1

용량 한계13건

구성 요소
컨테이너 메모리 한도9건CoreDNS3건쿠버네티스 API 서버3건kubelet3건노드 풀3건Prometheus3건애플리케이션 데이터베이스2건클라이언트 쪽 DNS 리졸버와 캐시2건텔레메트리 에이전트2건Cilium1건수평 파드 오토스케일러1건인그레스 컨트롤러1건리눅스 커널1건서비스 디스커버리1건
기여 요인
재시도 폭주4건과도한 영향 범위3건기본 설정 방치3건모니터링 사각지대3건리소스 요청과 한도 미설정3건단일 장애점3건자동화 증폭2건한계 미인지2건캐시 부재2건여유 용량 부재2건초기 신호 무시1건수동 조치 악화1건한계 경보 부재1건용량 계획 부재1건단계적 배포 부재1건
조직
Scaleway2건Zalando2건Backpackr1건Blue Matador1건Buildkite1건DFDS1건GitLab1건LINE1건Palark1건Saifeddine Rajhi1건UK Ministry of Justice1건
  1. IL-0102 배포와 워커 오토스케일링 폭주가 겹치자 크기를 고정해 둔 CoreDNS 가 메모리 한도를 넘겨 재시작된 뒤 회복하지 못했고, Buildkite 사이트 전체가 약 30분 멈췄다.
    Buildkite2026
  2. IL-0027 CoreDNS 파드가 모두 한 노드에 몰린 채 그 노드의 메모리가 고갈되자 DNS 가 응답하지 못해 아이디어스 서비스 전체가 멈췄다
    Backpackr2025
  3. IL-0044 kube-prometheus-stack 업그레이드 뒤 Prometheus 가 WAL 재생 중 메모리를 50Gi 넘게 써서 시작할 때마다 OOMKilled 로 죽었다
    Saifeddine Rajhi2024
  4. IL-0110 Grafana Agent 파드가 메모리를 많이 쓰던 노드에 Hangfire 파드가 함께 올라가 시스템 OOM 으로 CrashLoopBackOff 를 반복했고, 노드가 응답을 멈추고 NotReady 가 됐다.
    DFDS2024
  5. IL-0168 새 쿠버네티스 릴리스 뒤 많은 Kapsule 클러스터가 동시에 자동 업그레이드되면서 Kubernetes API 가 과부하로 OOM 이 났고, 새 노드 인증 방식의 재시도가 혼잡을 키워 노드가 Not Ready 가 됐다.
    Scaleway2024
  6. IL-0169 FR-PAR 의 Scaleway Kubernetes API 가 메모리 부족으로 쓰러져 노드 인증이 막히고 Kapsule 노드가 NotReady 가 됐다.
    Scaleway2024
  7. IL-0016 네임스페이스와 규칙이 늘어 live 클러스터의 Prometheus 가 메모리 부족으로 OOMKilled 되며 플랫폼 모니터링이 끊겼다
    UK Ministry of Justice2023
  8. IL-0195 200개가 넘는 노드의 고객 클러스터에서 Cilium 파드가 LIST 요청을 한꺼번에 쏟아내 kube-apiserver 가 메모리를 다 쓰고 죽기를 되풀이했다.
    Palark2023
  9. IL-0206 GKE 파드 안의 Consul 에이전트가 메모리 급증으로 거듭 OOM kill 되어 Rails 파드가 데이터베이스 복제본을 찾지 못했고, 모든 쿼리가 primary 로 몰려 GitLab.com 이 느려졌다.
    GitLab2022
  10. IL-0176 시계열 급증으로 호스트 메모리가 바닥나자 oom_score_adj 999 를 받은 Prometheus 컨테이너가 커널 OOM Killer 에게 먼저 죽어 CrashLoopBackOff 에 빠졌다.
    LINE2020
  11. IL-0026 메모리 제한이 없는 fluentd-sumologic 파드가 메모리를 다 써서 운영 쿠버네티스 노드 두 대에 이틀 연속 SystemOOM 이 났다
    Blue Matador2019
  12. IL-0001 CoreDNS 파드가 메모리 한도 100Mi 에 걸려 OOM 으로 계속 죽으면서 쿠버네티스 클러스터 전체의 DNS 가 멈췄다
    Zalando2019
  13. IL-0031 API 서버가 OOMKill로 죽자 Skipper 인그레스가 라우트를 잃었고, 고객 트래픽이 끊기며 IAM 서비스에서 404 오류가 났다
    Zalando2018