IL-0017 UK Ministry of Justice · 2023-07-21kubernetesaws
2023-07-21 아침, UK Ministry of Justice 의 Cloud Platform live 클러스터에서 노드 6대가 새 파드에 IP 주소를 할당하지 못했다. 이 노드에 배치된 새 배포는 ContainerCreating 상태를 벗어나지 못했다. Cloud Platform 에서 돌던 애플리케이션은 가용성이 떨어졌거나 장애가 날 위험이 커졌을 수 있다.
원인은 live 클러스터에 빠져 있던 VPC CNI 설정 하나였다. 팀은 1.23 테스트 클러스터와 live 클러스터의 CNI 설정을 비교해 차이를 찾았고, 12:42 에 live 클러스터에서 Prefix Delegation 을 켜는 명령을 실행했다. 그 시점에 장애가 복구됐고, 첫 보고부터 복구까지 4시간 27분이 걸렸다.
2023-07-21 08:15, 한 사용자가 #ask-cloud-platform 채널에 새 배포가 ContainerCreating 상태에서 멈춘다고 알렸다.
팀은 09:00 부터 영향받은 네임스페이스 목록을 모았고, 09:45 에 문제가 노드 6대에 몰려 있다는 것을 확인했다. 이 노드들에서는 VPC CNI 가 새 파드에 IP 주소를 할당하지 못하고 있었다.
팀은 먼저 새 노드를 추가하고 영향받은 노드를 cordon 한 뒤 drain 하기 시작했다. 원인은 12:35 에 1.23 테스트 클러스터와 live 클러스터의 CNI 설정을 나란히 비교하고 나서야 드러났다. 설정 하나가 두 클러스터에서 서로 달랐다.
원인 설정 변경
팀은 08:15 에 한 사용자가 #ask-cloud-platform 채널에 새 배포가 ContainerCreating 에서 멈춘다고 보고해 장애를 알았다. 장애 선언은 09:31 이었다.
이 글은 교훈을 따로 적지 않았다. 후속 조치로는 IP 주소 할당이 제대로 되는지 확인하는 점검을 추가한다는 것 하나만 적었다.
IL-0114 클러스터 용량을 늘리던 중 버전이 고정되지 않은 VPC CNI 플러그인이 자동으로 업데이트돼 새 파드가 IP 를 받지 못하고 Pending 에 머물렀고, 메인넷 운영 환경의 정산이 약 3.5시간 멈췄다.CoW Protocol · 2024같은 원인 · 공통 노드 풀, AWS VPC CNI
IL-0019 EKS 모듈 18 업그레이드로 새 노드의 디스크가 20Gb 로 줄어 이미지 풀이 no space left on device 로 실패했다UK Ministry of Justice · 2023같은 원인 · 공통 노드 풀, AWS VPC CNI
IL-0091 Terraform 으로 노드 인스턴스 타입을 바꾸자 노드가 한꺼번에 교체되어 사용자 운영 파드가 모두 지워지고 서비스가 내려갔다UK Ministry of Justice · 2023같은 원인 · 공통 노드 풀
IL-0109 로그 수집을 고치려던 EKS 노드 롤오버가 꼬이면서 Auto Scaling 그룹이 정상 워커 노드를 모두 종료해 클러스터에 노드가 하나도 남지 않았다.DFDS · 2023 · sev1같은 원인 · 공통 노드 풀
같은 원인 · 공통 AWS VPC CNI
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.
같은 원인 · 공통 노드 풀