IL-0106 DFDS · 2021-09-06kubernetesawsnetworking
DFDS 는 Kubernetes 의 인그레스 컨트롤러로 Traefik v2 를 쓰고 있었다. 2021-09-01 에 형식이 잘못된 IngressRoute 매니페스트가 클러스터에 적용됐고, Traefik v2 의 공식 API 스키마는 이 적용을 막지 못했다. 이 매니페스트가 2.5 미만 Traefik v2 의 버그를 건드려 Traefik 이 인그레스 트래픽을 받지도 라우팅하지도 못하게 됐다. 다만 이 버그는 Traefik v2 파드가 모두 재시작된 뒤에야 나타나서 닷새 동안 드러나지 않았다.
2021-09-06 아침 자동 노드 롤오버가 돈 뒤 모든 서비스가 404 를 냈다. 팀은 ALB 대상이 unhealthy 인 것을 보고 헬스체크 경로를 바꿨지만 404 는 그대로였다. 08:50 에 주 인그레스 컨트롤러를 Traefik v1 으로 되돌리기로 했고, 09:00 에 손으로 롤백했다. 09:08 에 인그레스 트래픽이 정상으로 돌아왔다.
09:10 에 잘못된 IngressRoute 를 손으로 지우면서 근본 원인을 찾았고 Traefik v2 버그도 확인했다. 감지까지 5분, 복구까지 68분이 걸렸다.
2021-09-06 08:00 UTC 에 Kubernetes 의 모든 서비스가 404 를 내기 시작했다. 30분 전인 07:30 에는 노드를 자동으로 교체하는 롤오버가 시작됐다.
팀은 08:05 에 원인 조사를 시작했고, 08:10 에 ALB 대상이 unhealthy 로 나타난 것을 봤다. 헬스체크 경로를 바꾸자 08:15 에 ALB 대상은 healthy 로 돌아왔지만, 08:20 에도 모든 서비스가 여전히 404 를 냈다.
Traefik v2 가 오류를 드러내지 않고 실패하는 바람에 조사는 ALB 문제 쪽으로 잘못 흘렀다. 08:30 까지 여러 가지를 살폈지만 결론이 나지 않았다.
원인 소프트웨어 결함
08:00 UTC 에 모든 서비스가 404 를 내기 시작했고 08:05 에 원인 조사를 시작했다. 감지까지 5분이 걸렸다.
Traefik v2 는 오류를 드러내지 않고 실패해서 조사를 ALB 쪽으로 잘못 이끌었다. 공식 API 스키마도 잘못된 매니페스트 적용을 막지 못했다. 팀은 대응 과정에서 장애 관리자를 정했다면 도움이 됐을 것으로 봤다. 그리고 워룸 회의를 녹화하고, 대응에 참여하지 않는 사람은 글로만 제안하고, 일지를 남기자고 정리했다. 대응 초반에 각자의 생각과 직감을 짧게 나누는 시간도 갖자고 했다.
IL-0150 DynamoDB DNS 자동화의 경쟁 조건이 us-east-1 리전 엔드포인트의 DNS 레코드를 비워 DynamoDB 와 EC2 인스턴스 시작이 실패했고, 그 여파로 EKS, ECS, Fargate 의 컨테이너 시작과 클러스터 스케일링이 14시간 넘게 막혔다Amazon Web Services · 2025같은 원인 · 공통 클라우드 로드 밸런서
IL-0053 Ingress NGINX Controller의 어드미션 웹훅이 인증 없이 열려 있어, 조작한 Ingress 객체로 NGINX 설정을 주입해 원격 코드를 실행하고 클러스터의 모든 Secret을 읽을 수 있었다Wiz · 2025같은 원인 · 공통 인그레스 컨트롤러
IL-0081 ingress-nginx 의 enable-serial-reloads 옵션이 NGINX 리로드 중에 엔드포인트 동적 갱신을 막아, 배포 중 트래픽이 이미 없는 파드로 가면서 API 요청이 타임아웃됐다.Cresta · 2025같은 원인 · 공통 인그레스 컨트롤러
IL-0131 새로운 형태의 GenerateContent 요청이 Vertex AI 예측 API 서버에 세그폴트를 일으켰고, 동시에 재시작하는 서버가 늘자 서빙 용량이 모자라 여러 리전에서 오류가 치솟았다.Google Cloud · 2024같은 원인 · 공통 클라우드 로드 밸런서
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.
같은 원인 · 공통 인그레스 컨트롤러
IL-0011 HAProxy 인그레스 템플릿이 백엔드 파드를 IP 순으로 정렬해 일부 파드에 요청이 몰리고 인그레스 컨테이너가 OOMKilled 됐다Skyscanner · 2019같은 원인 · 공통 인그레스 컨트롤러
같은 원인 · 공통 클라우드 로드 밸런서
IL-0072 etcd 쓰기 지연으로 API 서버가 오래된 데이터를 읽어 클러스터 상태가 두 가지로 번갈아 보였고, 주 운영 클러스터 전체가 약 4시간 멈췄다Nordstrom · 2017같은 원인 · 공통 인그레스 컨트롤러