IL-0105 DFDS · 2021-06-22kubernetesawsnetworking
2021-06-22 DFDS 는 EKS 애드온을 kubectl 대신 Terraform 으로 직접 관리하려고 리팩터링과 정리를 하고 있었다. 이 변경으로 파이프라인이 VPC CNI 를 교체했고, 그 과정에서 타깃 그룹이 ALB 에서 떨어져 나갔다. 그 결과 클러스터로 들어오는 트래픽이 하나도 클러스터에 닿지 못했다.
팀은 기여 요인으로 두 가지를 꼽았다. 하나는 노드 교체를 빠르게 하려고 ALB 타깃 그룹의 등록 해제 지연을 영구히 낮춰 둔 것이다. 다른 하나는 핵심 네트워크 구성 요소를 교체한 것이다.
팀은 08:33 에 infrastructure-modules 참조를 되돌리는 수정을 커밋했다. 파이프라인이 AWS API 타임아웃으로 멈추자 팀은 08:38 에 파이프라인을 다시 돌렸다. 08:46 에 파이프라인이 타깃 그룹을 ALB 에 다시 붙이면서 서비스가 복구되었다. 감지까지 8분, 복구까지 25분이 걸렸다.
2021-06-22 08:29 UTC 에 알림이 울렸다. 쿠버네티스 클러스터로 들어오는 트래픽이 모두 실패했고, 모든 서비스가 503 을 냈다.
알림은 08:21 에 파이프라인이 VPC CNI 를 교체하고 8분 뒤에 왔다. 팀은 08:30 에 조사를 시작했고, 08:32 에는 고객도 문제를 알려 왔다.
08:29 UTC 에 알림으로 감지했다. 파이프라인이 VPC CNI 를 교체한 지 8분 뒤였다. 08:32 에는 고객도 문제를 알려 왔다.
팀은 등록 해제 지연을 주로 성능 측면에서만 보고 바꿨다. 중요한 파이프라인 실행은 끝날 때까지 지켜봐야 한다. 알림은 모든 사람이 받고 대응해야 한다. 뜻이 분명하지 않은 알림 문구는 고쳐 써야 한다.
IL-0192 Crossplane 컴포지션의 병합 정책 변경이 Service 타입을 ClusterIP 로 바꿔 클라우드 로드 밸런서가 지워지고 Grafana Cloud 서비스의 약 25%가 끊겼다.Grafana Labs · 2025같은 원인 · 공통 클라우드 로드 밸런서
IL-0114 클러스터 용량을 늘리던 중 버전이 고정되지 않은 VPC CNI 플러그인이 자동으로 업데이트돼 새 파드가 IP 를 받지 못하고 Pending 에 머물렀고, 메인넷 운영 환경의 정산이 약 3.5시간 멈췄다.CoW Protocol · 2024같은 원인 · 공통 AWS VPC CNI
IL-0019 EKS 모듈 18 업그레이드로 새 노드의 디스크가 20Gb 로 줄어 이미지 풀이 no space left on device 로 실패했다UK Ministry of Justice · 2023같은 원인 · 공통 AWS VPC CNI
IL-0017 live 클러스터 노드 6대에서 VPC CNI 가 IP 주소를 할당하지 못해 새 파드가 ContainerCreating 에 멈췄다UK Ministry of Justice · 2023같은 원인 · 공통 AWS VPC CNI
IL-0091 Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되어 사용자 운영 파드가 모두 지워지고 서비스가 내려갔다UK Ministry of Justice · 2023같은 원인 · 공통 Terraform
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.
IL-0109 로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다.DFDS · 2023 · sev1같은 원인 · 공통 Terraform
같은 원인 · 공통 클라우드 로드 밸런서
IL-0208 GitLab Helm 차트 업그레이드가 Service 와 Deployment 의 포트 이름을 바꿔 GCP 로드 밸런서가 다시 구성되는 동안 GitLab.com 요청이 느려지고 50x 오류가 났다GitLab · 2022같은 원인 · 공통 클라우드 로드 밸런서
IL-0111 메인 인그레스 컨트롤러를 Traefik v2 로 바꾸자 X-Forwarded 헤더가 전달되지 않아 Okta 로그인이 깨졌고, DFDS 온라인 예약이 한 시간 넘게 멈췄다DFDS · 2021같은 원인 · 공통 클라우드 로드 밸런서
IL-0061 Terraform 상태 파일이 리뷰 빌드에서 바뀐 데다 권한 차이까지 겹쳐 Terraform 이 운영 GKE 클러스터 세 개 중 두 개를 삭제했다Spotify · 2019같은 원인 · 공통 Terraform
IL-0052 인증 없이 인터넷에 열린 Weave Scope 대시보드를 통해 암호화폐 채굴기가 개발 클러스터와 스테이징 클러스터의 모든 노드에서 돌았다.JW Player · 2019같은 원인 · 공통 클라우드 로드 밸런서