Incident Library
적용된 필터 원인업그레이드로 깨진 호환성모두 풀기검색어 없이 필터만 적용한 목록입니다. 최근 사례부터입니다.
추천 필터 검색하면 검색어에서 찾은 분류 값이 여기에 나옵니다.

그래프

  • 원인
  • 구성 요소
  • 증상
  • 기여 요인
  • 사례

사례14건

14건 중 14~14번째

  1. IL-0090 ModSec 인그레스 컨트롤러 모듈을 v3.33.0 으로 올린 뒤 검증 웹훅 호출이 x509 인증서 오류로 실패해, 모든 인그레스 생성과 변경이 막히고 사용자 애플리케이션 배포가 멈췄다.
    UK Ministry of Justice2021
    증상

    2021년 6월 9일 13:15 에 한 사용자가 #ask-cloud-platform 채널에 UAT 애플리케이션을 배포하다가 오류가 났다고 알렸다.

    배포 실패
    촉발

    ModSec 인그레스 컨트롤러 모듈을 v3.33.0 으로 업그레이드했다.

    원인
    업그레이드로 깨진 호환성
    구성 요소
    어드미션 웹훅인그레스 컨트롤러
    기여 요인
    스테이징 불일치
    감지

    13:15 에 한 사용자가 #ask-cloud-platform 채널에 UAT 애플리케이션 배포 오류를 올리면서 장애가 드러났다. 장애 선언은 13:54 였다.

    조치
    • ModSec 인그레스 컨트롤러 모듈을 v0.0.7 로 롤백했다.
    후속 조치
    • 이 문제가 테스트 클러스터에서 왜 걸러지지 않았는지 알아본다. 문제를 재현해 보고 테스트를 하나 더 둘지 판단한다. 티켓 #2972.
    • 스모크 테스트에 Alertmanager 의 알림을 확인하는 테스트를 더한다. 티켓 #2973.
    • ModSec 컨트롤러를 쓰는 helloworld 앱을 두고, 스모크 테스트로 트래픽이 실제로 흐르는지 확인한다. 티켓 #2974.
    • 새 버전의 ModSec 모듈이 EKS 의 live-1 과 live 에서 동작하게 만든다. 지금은 옛 버전과 새 버전 모두 live 에서 동작하지 않는다. 티켓 #2975.
    사례 보기
내 클러스터에도 있는지 확인하기

이 14건에서 가장 많이 나오는 구성 요소: 인그레스 컨트롤러, 노드 운영체제 이미지. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.

kubegap 열기

원인별1

업그레이드로 깨진 호환성14건

구성 요소
인그레스 컨트롤러5건노드 운영체제 이미지4건어드미션 웹훅3건클라우드 로드 밸런서2건클라이언트 쪽 DNS 리졸버와 캐시2건GKE 컨트롤 플레인2건리눅스 커널2건systemd-networkd2건Calico1건cert-manager1건Cilium1건클러스터 오토스케일러1건컨피그맵과 시크릿1건애플리케이션 데이터베이스1건etcd1건Istio1건쿠버네티스 API 서버1건kube-proxy1건kubelet1건노드 풀1건영구 볼륨과 스테이트풀셋1건컨테이너 레지스트리와 자격 증명1건웹 애플리케이션 방화벽 규칙1건
기여 요인
단계적 배포 부재5건스테이징 불일치4건자동화 증폭3건늦게 드러난 변경3건미뤄 둔 업그레이드3건모니터링 사각지대2건단일 장애점2건미검증 가정1건미검증 백업1건과도한 영향 범위1건코드로 관리되지 않는 설정1건기본 설정 방치1건미패치 알려진 버그1건디버그 접근 제한1건여유 용량 부재1건롤백 무효1건
조직
2i2c2건OpenAI2건UK Ministry of Justice2건Altinity1건Datadog1건GitHub1건Honeycomb1건Microsoft Azure1건Reddit1건Sunwoo Park1건Wealthy1건
  1. IL-0097 cluster autoscaler 버전을 올린 뒤 Kubernetes 1.33 에 남아 있던 클러스터에서 스케일업이 일어나지 않아 새 노드가 만들어지지 않았다
    2i2c2026
  2. IL-0098 ingress-nginx 에서 nginx-ingress 로 옮긴 뒤 같은 호스트를 나눠 쓰는 인그레스들의 동작이 바뀌어 cert-manager 가 새 TLS 인증서를 받지 못했다.
    2i2c2026
  3. IL-0092 ingress-nginx 를 1.12.0 에서 1.14.3 으로 올리자 새 ModSecurity 와 OWASP Core Rule Set 이 정상 요청을 오탐으로 막아 HMPPS 사용자가 인증하지 못했다.
    UK Ministry of Justice2026
  4. IL-0101 자동 업그레이드를 꺼 둔 GKE 클러스터의 컨트롤 플레인이 지원 종료 기한에 1.33.2 로 강제 업그레이드된 뒤 새 노드가 모두 초기화에 실패해, 오토스케일링과 스팟 노드 복구가 15시간 멈췄다.
    Wealthy2025
  5. IL-0120 클라우드 GPU 서버의 정기 OS 업데이트가 systemd-networkd 를 재시작해 자체 네트워크 에이전트와 충돌했고, 많은 GPU 노드의 라우트가 모두 지워져 ChatGPT 와 API 의 오류율이 크게 올랐다.
    OpenAI2025
  6. IL-0079 GKE 노드가 새 ubuntu_containerd 이미지로 자동 업그레이드된 뒤 커널에서 kube-proxy 가 쓰는 iptables 확장이 빠져, 여러 GKE 클러스터의 인그레스 트래픽이 완전히 끊겼다.
    Altinity2025
  7. IL-0201 프레임워크 업그레이드가 쿠버네티스 인프라에서 커널 패닉을 일으켜 GitHub.com 의 웹과 API 요청이 15시간 넘게 간헐적으로 실패했다
    GitHub2025
  8. IL-0117 인그레스 업그레이드가 네트워크 컨트롤 플레인 회귀를 일으켜 데이터 플레인이 잠깐 끊겼고, 한꺼번에 재시작한 서비스들이 백엔드 저장소에 과부하를 일으켜 OpenAI API 오류가 늘었다
    OpenAI2024
  9. IL-0203 클러스터 시스템 업데이트 뒤 AWS Load Balancer Controller 가 실패해 새 파드가 ALB 에 등록되지 않았고, Honeycomb EU1 의 수집과 UI 가 11분 동안 멈췄다
    Honeycomb2024
  10. IL-0180 GKE 컨트롤 플레인이 1.22 에서 1.23 으로 자동 업그레이드되면서 v1beta1 API 를 쓰던 Istio 1.7.4 가 제대로 동작하지 않았다
    Sunwoo Park2023
  11. IL-0060 쿠버네티스 1.24 업그레이드로 node-role.kubernetes.io/master 레이블이 사라지자 이 레이블에 기대던 Calico 라우트 리플렉터가 동작을 멈춰 레거시 클러스터의 네트워크가 모두 끊기고 Reddit 이 314분 동안 멈췄다
    Reddit2023
  12. IL-0198 systemd 보안 패치가 Ubuntu 22.04 노드의 systemd-networkd 를 재시작해 Cilium 이 넣은 IP 규칙을 지웠고, 여러 리전과 세 클라우드의 Kubernetes 노드가 한꺼번에 네트워크를 잃었다.
    Datadog2023
  13. IL-0144 Ubuntu 18.04 의 systemd 보안 업데이트가 DNS 설정을 날려 AKS 노드의 kubelet 이 레지스트리 이름을 해석하지 못하고 파드가 ImagePullBackoff 에 빠졌다.
    Microsoft Azure2022
  14. IL-0090 ModSec 인그레스 컨트롤러 모듈을 v3.33.0 으로 올린 뒤 검증 웹훅 호출이 x509 인증서 오류로 실패해, 모든 인그레스 생성과 변경이 막히고 사용자 애플리케이션 배포가 멈췄다.
    UK Ministry of Justice2021