Incident Library
적용된 필터 원인소프트웨어 결함기여 요인자동화 증폭모두 풀기검색어 없이 필터만 적용한 목록입니다. 최근 사례부터입니다.
추천 필터 검색하면 검색어에서 찾은 분류 값이 여기에 나옵니다.

그래프

  • 원인
  • 구성 요소
  • 증상
  • 기여 요인
  • 사례

사례6건

6건 중 6~6번째

  1. IL-0132 잘못된 리소스 정리 작업이 Vertex AI 예측 엔드포인트를 전역에서 삭제된 것으로 표시해 고객 모델이 내려가고 예측 요청이 4시간 넘게 실패했다.
    Google Cloud2022
    증상

    2022-06-02 10:10 US/Pacific 부터 Vertex AI Online Prediction 의 오류율이 올라갔다. 리전과 사용 패턴에 따라 요청의 30% 에서 100% 가 실패했다.

    오류율 상승리소스 삭제서비스 중단
    촉발

    잘못된 리소스 정리 작업이 Vertex 예측 엔드포인트를 전역에서 삭제된 것으로 표시했다.

    원인
    소프트웨어 결함
    구성 요소
    모델 요청 라우팅
    기여 요인
    자동화 증폭과도한 영향 범위
    감지

    Google 은 13:58 US/Pacific 에 상태 페이지에 첫 공지를 올렸고, 이 공지는 문제가 10:20 US/Pacific 에 시작됐다고 적었다. 나중에 나온 짧은 장애 보고서는 시작 시각을 10:10 으로 적었다.

    조치
    • 삭제된 것으로 표시된 Vertex 예측 엔드포인트를 복구했고, 서비스가 완전히 회복됐다.
    사례 보기
내 클러스터에도 있는지 확인하기

이 6건에서 가장 많이 나오는 구성 요소: 노드 운영체제 이미지, 자동 용량 관리 시스템. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.

kubegap 열기

원인별1

소프트웨어 결함6건

구성 요소
노드 운영체제 이미지3건자동 용량 관리 시스템1건클라우드 로드 밸런서1건애플리케이션 데이터베이스1건DNS 서버와 레코드1건GPU 드라이버1건Karpenter1건kubelet1건노드 런치 템플릿1건리눅스 커널1건모델 요청 라우팅1건노드 풀1건Terraform1건AWS VPC CNI1건
기여 요인
자동화 증폭6건모니터링 사각지대2건미검증 가정1건과도한 영향 범위1건늦게 드러난 변경1건캐시로 가려진 장애1건헬스 프로브 부재1건런북 부재1건파괴적 변경 보호 장치 부재1건단계적 배포 부재1건장애 중첩1건재시도 폭주1건
조직
Amazon Web Services1건DFDS1건Google Cloud1건Inflab1건Microsoft1건OpenAI1건
  1. IL-0124 서킷 브레이커가 풀리자 낡은 상태를 근거로 쌓여 있던 용량 조정이 한꺼번에 실행돼 여러 추론 엔진이 동시에 빠졌고, OpenAI API 의 오류율과 지연 시간이 올랐다.
    OpenAI2026
  2. IL-0150 DynamoDB DNS 자동화의 경쟁 조건이 us-east-1 리전 엔드포인트의 DNS 레코드를 비워 DynamoDB 와 EC2 인스턴스 시작이 실패했고, 그 여파로 EKS, ECS, Fargate 의 컨테이너 시작과 클러스터 스케일링이 14시간 넘게 막혔다
    Amazon Web Services2025
  3. IL-0171 Bottlerocket AMI 에 libdcgm.so 가 없어 GPU 노드의 AcceleratedHardwareReady 가 False 가 됐고, Karpenter 노드 자동 복구가 Ready 뒤 10~11분마다 GPU 노드를 교체하는 일을 끝없이 되풀이했다.
    Inflab2025
  4. IL-0147 AKS 202508 노드 이미지가 캐시되지 않은 쿠버네티스 바이너리를 받을 때 HTTP 프록시 설정을 쓰지 않아, 프록시 뒤에 있는 노드의 프로비저닝이 CSE 종료 코드 31 로 실패했다.
    Microsoft2025
  5. IL-0112 나중에 회수된 EKS 노드 AMI 로 노드를 교체한 뒤 노드가 PLEG is not healthy 를 보고하며 NotReady 를 오갔고 파드 네트워크 타임아웃이 났다
    DFDS2022
  6. IL-0132 잘못된 리소스 정리 작업이 Vertex AI 예측 엔드포인트를 전역에서 삭제된 것으로 표시해 고객 모델이 내려가고 예측 요청이 4시간 넘게 실패했다.
    Google Cloud2022