IL-0364 UK Ministry of Justice · 2022-07-11awskubernetesnetworking

'default' 인그레스 컨트롤러로 들어오는 트래픽의 25% 가 느려졌다

2022-07-11 09:33 에 영국 법무부 Cloud Platform 의 사용자들이 애플리케이션이 가끔 느리다고 알렸다. 전날 AWS 사고가 있은 뒤로 'default' 인그레스 컨트롤러의 네트워크 인터페이스 세 개 중 하나가 느렸고, 인그레스 트래픽의 25% 가 영향을 받았다. 10:11 에 사고를 선언했다.

AWS 에 따르면 NLB 의 헬스 체크 하위 시스템은 대상마다 상태를 검사해 비정상인 대상을 서비스에서 뺀다. 근본 원인은 헬스 체크 인스턴스 일부가 재시작될 때 드러난 잠재된 소프트웨어 경쟁 상태였다. 그 뒤 헬스 체크 하위 시스템이 한 가용 영역에 있는 대상을 알지 못하게 되어 그 가용 영역의 헬스 체크 상태를 내지 않았고, 일부 대상을 비정상으로 감지하지 못했다. 그래서 클라이언트가 NLB 의 Elastic IP 가운데 하나로 연결하려 하면 타임아웃이 났다. AWS 가 헬스 체크 하위 시스템을 재시작해 대상 목록을 새로 읽게 하자 영향을 받은 가용 영역의 NLB 가 돌아왔다. 사고는 16:07 에 복구되어 해결로 닫혔다.

심각도: –
영향 범위: Slow performance for 25% of ingress traffic through the 'default' ingress controllers
영향 사용자: –
지역: one Availability Zone
감지까지: –
복구까지: 6h 27m

증상

2022-07-11 09:33 에 사용자들이 #ask-cloud-platform 에 애플리케이션이 가끔 느리다고 알렸다. 영향을 받은 것은 인그레스 트래픽의 25% 였다.

전날 AWS 사고 뒤로 'default' 인그레스 컨트롤러의 네트워크 인터페이스 세 개 중 하나가 느렸다. AWS 설명으로는 NLB 의 헬스 체크 하위 시스템이 일부 대상을 비정상으로 감지하지 못했고, 클라이언트가 NLB 의 Elastic IP 가운데 하나로 연결하려 할 때 타임아웃이 났다.

10:11 에 사고를 선언했고 16:07 에 복구됐다. 복구까지 6시간 27분이 걸렸다.

증상 지연 시간 증가 간헐적 타임아웃