IL-0090 UK Ministry of Justice · 2021-06-09kubernetes
2021년 6월 9일 Cloud Platform 팀은 ModSec 인그레스 컨트롤러 모듈을 v3.33.0 으로 업그레이드했고, 배포는 성공한 것처럼 보였다. 업그레이드 직후부터 ModSec 검증 웹훅이 새 인그레스 생성과 기존 인그레스 변경을 모두 막았다. 웹훅 호출은 x509 인증서 오류로 실패했다. 인증서는 modsec01-nx-controller-admission 이름으로 발급돼 있었는데, 호출은 modsec01-nx-modsec-admission.ingress-controllers.svc 로 갔다.
인그레스 API 호출이 모두 막히면서 사용자 애플리케이션 배포도 전부 멈췄다. 팀은 ModSec 인그레스 컨트롤러 모듈을 v0.0.7 로 롤백해 문제를 풀었다. 수리까지 31분, 해결까지 43분이 걸렸다. 이 문제는 테스트 클러스터에서 걸러지지 않았다.
2021년 6월 9일 13:15 에 한 사용자가 #ask-cloud-platform 채널에 UAT 애플리케이션을 배포하다가 오류가 났다고 알렸다.
오류 문구는 다음과 같았다. kind Ingress: Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://modsec01-nx-modsec-admission.ingress-controllers.svc:443/networking/v1beta1/ingresses?timeout=10s: x509: certificate is valid for modsec01-nx-controller-admission, modsec01-nx-controller-admission.ingress-controllers.svc, not modsec01-nx-modsec-admission.ingress-controllers.svc
인그레스 API 호출이 모두 막혀 새 인그레스를 만들 수 없었고 기존 인그레스의 변경도 배포되지 않았다. 사용자 애플리케이션 배포도 전부 여기에 걸렸다. 장애는 ModSec 인그레스 컨트롤러 모듈을 v3.33.0 으로 업그레이드한 직후에 시작됐다. 업그레이드 자체는 성공한 것처럼 보였다.
증상 배포 실패
13:15 에 한 사용자가 #ask-cloud-platform 채널에 UAT 애플리케이션 배포 오류를 올리면서 장애가 드러났다. 장애 선언은 13:54 였다.
–
IL-0098 ingress-nginx 에서 nginx-ingress 로 옮긴 뒤 같은 호스트를 나눠 쓰는 인그레스들의 동작이 바뀌어 cert-manager 가 새 TLS 인증서를 받지 못했다.2i2c · 2026같은 원인 · 공통 인그레스 컨트롤러
IL-0092 ingress-nginx 를 1.12.0 에서 1.14.3 으로 올리자 새 ModSecurity 와 OWASP Core Rule Set 이 정상 요청을 오탐으로 막아 HMPPS 사용자가 인증하지 못했다.UK Ministry of Justice · 2026같은 원인 · 공통 인그레스 컨트롤러
IL-0117 인그레스 업그레이드가 네트워크 컨트롤 플레인 회귀를 일으켜 데이터 플레인이 잠깐 끊겼고, 한꺼번에 재시작한 서비스들이 백엔드 저장소에 과부하를 일으켜 OpenAI API 오류가 늘었다OpenAI · 2024같은 원인 · 공통 인그레스 컨트롤러
IL-0203 클러스터 시스템 업데이트 뒤 AWS Load Balancer Controller 가 실패해 새 파드가 ALB 에 등록되지 않았고, Honeycomb EU1 의 수집과 UI 가 11분 동안 멈췄다Honeycomb · 2024같은 원인 · 공통 인그레스 컨트롤러
IL-0180 GKE 컨트롤 플레인이 1.22 에서 1.23 으로 자동 업그레이드되면서 v1beta1 API 를 쓰던 Istio 1.7.4 가 제대로 동작하지 않았다Sunwoo Park · 2023같은 원인 · 공통 어드미션 웹훅
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.