사례1건

1건 중 1~1번째

1. IL-0469 Azure 관리형 쿠버네티스의 API 서버가 응답하지 않아 data100 허브 파드가 다시 만들어지지 않았다

   UC Berkeley2019

   증상

   data100 클러스터의 쿠버네티스 API 서버에 닿지 않아 새 자원을 만드는 요청이 실패했다. 허브 파드가 멈춘 뒤 새 파드가 만들어지지 않아 사용자들은 프록시 오류 메시지를 보았다.

   컨트롤 플레인 무응답서비스 중단

   원인

   클라우드 제공자 장애

   구성 요소

   AKS 컨트롤 플레인쿠버네티스 API 서버kubelet

   기여 요인

   디버그 접근 제한

   감지

   11:34 에 인프라 담당자가 Slack 으로 알림을 받았다. API 서버가 멈춘 시각인 11:21 은 장애가 끝난 뒤 클라우드 사업자의 모니터링 지표로 확인했다.

   조치

   • 13:00 에 새 클러스터를 만들고, 그 클러스터의 리소스 그룹에 새 nfs 서버를 요청했다.
   • 데이터 볼륨을 옛 nfs 서버에서 떼어 옛 클러스터의 리소스 그룹에서 새 클러스터의 리소스 그룹으로 옮겼다.
   • ZFS 풀을 새 nfs 서버로 가져왔다.
   • helm 으로 staging 허브를 띄우고 DNS 를 바꿨다.
   • helm 으로 prod 허브를 띄우고 DNS 를 바꿨다.

   후속 조치

   • API 서버 엔드포인트를 외부에서 감시하고, 응답하지 않으면 알림을 보낸다.

   사례 보기

원인별1