Incident Library
  • 원인
  • 구성 요소
  • 증상
  • 기여 요인
  • 사례

사례14건

14건 중 14~14번째

  1. IL-0149 2019-09-28 07:20 UTC 이전에 만든 VMSS 기반 AKS 클러스터의 업그레이드가 PlatformImageNotFound 오류로 실패했다.
    Microsoft Azure2019
    증상

    2019-09-28 07:20 UTC 부터 Virtual Machine Scale Sets 위의 AKS 클러스터에서 클러스터 업그레이드를 시도하면 실패 알림이 왔다.

    업그레이드 정체
    촉발

    최근 서비스 업데이트가 백엔드 서비스의 인스턴스를 비정상 상태로 만들어 요청이 끝나지 못했다. 이 상태에서 고객이 클러스터 업그레이드를 시도했다.

    원인
    배포 결함
    구성 요소
    노드 운영체제 이미지노드 풀
    기여 요인
    –
    감지

    고객은 클러스터를 업그레이드하려 할 때 실패 알림을 받았다.

    조치
    • az vmss update 명령으로 스케일 세트 이미지의 version 을 "2019.09.25" 로, Sku 를 "aks-ubuntu-1604-201909" 로 바꾼 뒤 업그레이드를 다시 실행하는 방법을 공개했다.
    • AKS 팀과 VMSS 팀이 영향받은 클러스터를 손으로 완화했다.
    • 모든 리전에 핫픽스를 배포해 2019-10-15 에 마쳤다.
    사례 보기
내 클러스터에도 있는지 확인하기

이 14건에서 가장 많이 나오는 구성 요소: 노드 풀, 인그레스 컨트롤러. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.

kubegap 열기

원인별1

배포 결함14건

구성 요소
노드 풀5건인그레스 컨트롤러3건텔레메트리 에이전트3건클러스터 오토스케일러2건어드미션 웹훅1건인메모리 캐시1건Calico1건클라우드 로드 밸런서1건애플리케이션 데이터베이스1건디스케줄러1건GPU 드라이버1건관리형 쿠버네티스 컨트롤 플레인과 제공자 API1건노드 운영체제 이미지1건파드 종료 처리1건서비스 디스커버리1건
기여 요인
미검증 가정3건과도한 영향 범위3건모니터링 사각지대3건기본 설정 방치2건런북 부재2건자동화 증폭1건피크 시간 변경1건한계 경보 부재1건파괴적 변경 보호 장치 부재1건여유 용량 부재1건의존성에 묶인 헬스 체크1건재시도 폭주1건리뷰 누락1건단일 장애점1건자동 테스트 공백1건
조직
Linode5건Microsoft Azure2건UK Ministry of Justice2건Airbnb1건CircleCI1건Google Cloud1건OpenAI1건Yonghyun Kim1건
  1. IL-0136 Sweden Central 리전에서 내부 서비스 배포가 캐시를 비워 메타데이터 백엔드에 평소 20배의 트래픽이 몰렸고, 데이터베이스 연결에 기대는 헬스 체크가 인스턴스를 계속 재시작시켜 Azure OpenAI 요청이 6시간 가까이 실패했다
    Microsoft Azure2026
  2. IL-0166 컴퓨트 호스트 업데이트로 StackScript 해독에 쓰는 credential parser 가 빠져 새로 만든 LKE 노드가 부팅하지 못했다
    Linode2026
  3. IL-0167 Osaka 데이터센터에 LKE 소프트웨어 릴리스를 단계적으로 배포한 뒤 LKE-E 클러스터 생성과 관리 작업이 멈췄다.
    Linode2026
  4. IL-0160 고쳐서 다시 돌린 레거시 GPU 모니터링 스크립트의 펌웨어 조회가 GSP 레이스 컨디션을 일으켜 Linode 의 RTX 4000 Ada GPU 가 잠기고 LKE 워커 노드의 GPU 작업이 멈췄다
    Linode2026
  5. IL-0188 EKS 롤링 업데이트 때 Kubernetes 는 새 파드가 Ready 가 되자마자 옛 파드를 지웠지만 ALB 는 새 파드를 아직 healthy 로 보지 않아, 배포마다 약 30초 동안 502 가 났다.
    Yonghyun Kim2025
  6. IL-0121 우선순위 낮은 워크로드를 관리하는 컨트롤 플레인 클러스터에 잘못된 코드가 배포되어, 그 클러스터가 함께 관리하던 운영 추론 워크로드가 망가졌다
    OpenAI2025
  7. IL-0020 EKS 1.30 업그레이드 중 디스케줄러가 cordon 된 노드의 파드를 한꺼번에 쫓아내 운영 서비스가 멈췄다
    UK Ministry of Justice2025
  8. IL-0142 GKE 1.24 이상 클러스터에서 로그를 처리하는 구성 요소의 새 버전이 불필요한 오류 로그를 쏟아내 일부 고객의 Logging API 쓰기 할당량이 바닥났다
    Google Cloud2023
  9. IL-0163 자동 테스트가 잡지 못한 API 변경이 배포돼 LKE 클러스터 크기를 바꿀 때 노드가 잘못된 수만큼 만들어졌고, 고객 계정에 과금되는 노드가 늘었다
    Linode2023
  10. IL-0164 이전 릴리스의 변경이 빠진 LKE 운영 업데이트 때문에 클러스터 업그레이드와 노드 추가가 오류 없이 실패했다
    Linode2022
  11. IL-0086 테스트 Kubernetes 클러스터용 배포가 운영 클러스터의 Traefik 과 Calico 리소스까지 지워 CircleCI UI 와 runner.circleci.com 이 1시간 54분 동안 내려갔다.
    CircleCI2021
  12. IL-0088 팀별 ingress 컨트롤러 모듈 0.1.0 이 만든 검증 웹훅이 live-1 클러스터에서 새 Ingress 생성을 모두 x509 오류로 막았다
    UK Ministry of Justice2020
  13. IL-0034 메트릭 에이전트 사이드카가 업그레이드 중 크래시하자 클러스터의 모든 파드가 준비되지 않은 상태가 되어 서비스가 트래픽을 받지 못했다
    Airbnb2019
  14. IL-0149 2019-09-28 07:20 UTC 이전에 만든 VMSS 기반 AKS 클러스터의 업그레이드가 PlatformImageNotFound 오류로 실패했다.
    Microsoft Azure2019