Incident Library

조직

UK Ministry of Justice

UK Ministry of Justice · uk-ministry-of-justice

15건 · 2020년부터 2026년

원인 용량 한계5건설정 변경3건배포 결함2건운영 실수2건업그레이드로 깨진 호환성2건unknown1건
구성 요소 노드 풀6건인그레스 컨트롤러5건Prometheus4건어드미션 웹훅2건노드 런치 템플릿2건텔레메트리 에이전트2건AWS VPC CNI2건CI 시스템1건클라우드 로드 밸런서1건클러스터 오토스케일러1건CoreDNS1건파드용 자격 증명 중개자1건디스케줄러1건Elasticsearch 와 OpenSearch1건external-dns1건컨테이너 메모리 한도1건노드 루트 디스크1건컨테이너 레지스트리와 자격 증명1건Terraform1건웹 애플리케이션 방화벽 규칙1건
기여 요인 한계 경보 부재5건기본 설정 방치2건설정 테스트 부재2건단일 장애점2건스테이징 불일치2건과도한 영향 범위1건설정 내 자격 증명1건한계 미인지1건수동 조치 악화1건모니터링 사각지대1건런북 부재1건파괴적 변경 보호 장치 부재1건여유 용량 부재1건리뷰 누락1건공용 자격 증명1건
증상 모니터링 중단6건서비스 중단4건배포 실패2건이미지 풀 실패2건IP 주소 고갈2건파드 ContainerCreating 정체2건파드 축출2건프로브 실패2건컨테이너 재시작 반복1건오류율 상승1건노드 디스크 가득 참1건노드 NotReady1건OOMKilled1건파드 Pending1건리소스 삭제1건오래된 엔드포인트 라우팅1건업그레이드 정체1건

사례

  1. IL-0092 ingress-nginx 를 1.12.0 에서 1.14.3 으로 올리자 새 ModSecurity 와 OWASP Core Rule Set 이 정상 요청을 오탐으로 막아 HMPPS 사용자가 인증하지 못했다.UK Ministry of Justice · 2026

    원인 업그레이드로 깨진 호환성

  2. IL-0020 EKS 1.30 업그레이드 중 디스케줄러가 cordon 된 노드의 파드를 한꺼번에 쫓아내 운영 서비스가 멈췄다UK Ministry of Justice · 2025

    원인 배포 결함

  3. IL-0042 OpenSearch 디스크가 가득 찬 동안 fluent-bit 가 로그를 처리하지 못해 Elasticsearch 와 OpenSearch 에 애플리케이션 로그가 들어오지 않았다.UK Ministry of Justice · 2024

    원인 용량 한계

  4. IL-0046 계획된 재시작 뒤 Prometheus 가 WAL 을 다 읽기 전에 startupProbe 에 걸려 재시작을 반복했고 지표가 빠졌다UK Ministry of Justice · 2024

    원인 용량 한계

  5. IL-0045 live 클러스터의 Prometheus 가 readiness probe 실패로 여러 번 재시작해 Cloud Platform 모니터링이 끊기고 메트릭이 빠졌다UK Ministry of Justice · 2023

    원인 unknown

  6. IL-0019 EKS 모듈 18 업그레이드로 새 노드의 디스크가 20Gb 로 줄어 이미지 풀이 no space left on device 로 실패했다UK Ministry of Justice · 2023

    원인 설정 변경

  7. IL-0043 새 버전 fluent-bit에서 청크를 버리는 방식이 바뀌어 Kibana의 애플리케이션 로그에 긴 공백이 생겼다UK Ministry of Justice · 2023

    원인 용량 한계

  8. IL-0016 네임스페이스와 규칙이 늘어 live 클러스터의 Prometheus 가 메모리 부족으로 OOMKilled 되며 플랫폼 모니터링이 끊겼다UK Ministry of Justice · 2023

    원인 용량 한계

  9. IL-0017 live 클러스터 노드 6대에서 VPC CNI 가 IP 주소를 할당하지 못해 새 파드가 ContainerCreating 에 멈췄다UK Ministry of Justice · 2023

    원인 설정 변경

  10. IL-0091 Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되어 사용자 운영 파드가 모두 지워지고 서비스가 내려갔다UK Ministry of Justice · 2023

    원인 설정 변경

  11. IL-0018 DockerHub 비밀번호를 바꾼 뒤 Concourse 와 EKS 클러스터 노드가 Docker Hub 에서 이미지를 받지 못했다UK Ministry of Justice · 2023

    원인 운영 실수

  12. IL-0090 ModSec 인그레스 컨트롤러 모듈을 v3.33.0 으로 올린 뒤 검증 웹훅 호출이 x509 인증서 오류로 실패해, 모든 인그레스 생성과 변경이 막히고 사용자 애플리케이션 배포가 멈췄다.UK Ministry of Justice · 2021

    원인 업그레이드로 깨진 호환성

  13. IL-0089 테스트 클러스터 삭제 스크립트가 운영 클러스터 live-1 을 대상으로 실행돼 인그레스 컨트롤러, 모니터링, 인증서 구성 요소가 지워지고 사용자 서비스에 접속할 수 없게 됐다.UK Ministry of Justice · 2020

    원인 운영 실수

  14. IL-0088 팀별 ingress 컨트롤러 모듈 0.1.0 이 만든 검증 웹훅이 live-1 클러스터에서 새 Ingress 생성을 모두 x509 오류로 막았다UK Ministry of Justice · 2020

    원인 배포 결함

  15. IL-0093 리더 ingress 컨트롤러 파드가 공유 메모리를 다 써서 ingress 컨트롤러 파드 6개 중 4개가 크래시 루프에 빠졌다UK Ministry of Justice · 2020

    원인 용량 한계