사례8건

8건 중 6~8번째

1. IL-0139 Calico 네트워크 정책을 쓰는 GKE 클러스터를 1.22 이상으로 업그레이드하자 경쟁 조건 때문에 CNI 정리가 Unauthorized 로 실패해 파드가 Terminating 이나 Pending 에 멈췄다.

   Google Cloud2022

   증상

   GKE 를 1.22 이상으로 업그레이드한 뒤 Calico 네트워크 정책을 쓰는 클러스터에서 파드가 Terminating 이나 Pending 상태에서 빠져나오지 못했다. 실제로 파드가 멈춘 클러스터는 소수였다.

   파드 Terminating 정체파드 Pending

   촉발

   Calico 네트워크 정책을 켠 GKE 클러스터를 1.22 이상 버전으로 업그레이드했다.

   원인

   소프트웨어 결함

   구성 요소

   Calicokubelet파드 종료 처리

   기여 요인

   –

   조치

   • 1.24.4-gke.800 에 수정을 넣고 1.23 과 1.22 로 백포트했으며, 고객이 수정 버전으로 직접 업그레이드할 수 있게 했다.
   • 영향받는 버전의 고객에게 Google Cloud 지원팀을 통해 내부 패치를 적용받도록 권했다.
   • kubelet 과 calico-node 를 재시작해 멈춘 파드를 풀어 주는 우회책을 안내했다.
   • Calico 가 꼭 필요하지 않은 고객에게는 Calico 네트워크 정책을 끄는 우회책을 안내했다.

   후속 조치

   • 1.22 나 1.23 을 쓰는 RAPID, REGULAR, STABLE 릴리스 채널의 클러스터를 앞으로 몇 주에 걸쳐 수정 버전으로 자동 업그레이드한다.

   교훈

   클러스터 오토스케일러를 쓰면 이 경쟁 조건에 걸릴 확률이 높아진다. 수정 버전으로 올리기 전에는 kubelet 과 calico-node 를 재시작해 멈춘 파드를 풀 수 있고, Calico 가 꼭 필요하지 않다면 Calico 네트워크 정책을 끄는 방법도 있다.

   사례 보기
2. IL-0140 us-central1 의 GKE API 가 지연과 오류를 내면서 고객이 클러스터 상태 확인, 업그레이드, 생성과 삭제를 하지 못했다.

   Google Cloud2022

   증상

   2022년 6월 14일 03:03 US/Pacific 부터 us-central1 의 GKE API 호출이 느려지고 오류를 냈다. gcloud 와 Google Cloud Console 에서 보내는 GKE API 호출이 모두 영향을 받았다.

   오류율 상승지연 시간 증가컨트롤 플레인 지연

   촉발

   GKE 백엔드로 들어오는 트래픽이 예상하지 못하게 늘었다.

   원인

   용량 한계

   구성 요소

   GKE 컨트롤 플레인

   기여 요인

   재시도 폭주

   조치

   • 늘어난 트래픽을 감당하도록 GKE 컨트롤 플레인을 증설했다.

   교훈

   실패한 요청을 클라이언트가 재시도하면 갑자기 늘어난 트래픽이 더 커진다. 관리형 컨트롤 플레인이 느려져도 클러스터 워크로드는 계속 돌지만, 클러스터를 조회하거나 바꾸는 작업은 막힌다.

   사례 보기
3. IL-0143 GKE 1.13 과 1.14 의 특정 버전으로 업그레이드한 노드에서 커널 패닉이 늘었다.

   Google Cloud2019

   증상

   2019-11-04 11:46 US/Pacific, Google 은 최근 업그레이드한 GKE 클러스터의 일부 노드에서 커널 패닉이 늘었다며 조사를 시작했다. 영향은 특정 GKE 버전으로 업그레이드한 노드에 한정됐다.

   노드 커널 패닉

   촉발

   노드 풀을 영향받은 GKE 1.13, 1.14 버전으로 업그레이드했다.

   원인

   소프트웨어 결함

   구성 요소

   노드 운영체제 이미지리눅스 커널

   기여 요인

   –

   조치

   • 영향받은 버전에 들지 않는 이전 릴리스로 노드를 내리는 우회 방법을 안내했고, Release Channel 사용자는 지원팀을 통해 다운그레이드하게 했다.
   • Container-Optimized OS 를 cos-73-11647-293-0 으로 내린 수정 버전 1.13.11-gke.14, 1.13.12-gke.8, 1.14.7-gke.23, 1.14.8-gke.12 를 내놓았다.
   • 노드 자동 업그레이드를 켠 노드 풀에 수정 버전을 배포했고, 수동 업그레이드를 쓰는 고객은 직접 노드를 올리게 했다.

   후속 조치

   • 다음 GKE 릴리스에서 커널을 올리고 커널 패닉을 고친다.

   교훈

   커널 수정이 나올 때까지 노드 운영체제 이미지를 이전 버전으로 내리는 것을 임시 완화책으로 썼다.

   사례 보기

원인별5