사례21건

21건 중 21~21번째

1. IL-0503 GKE 노드의 메모리가 바닥나 mybinder.org 의 proxy 파드가 OOM 으로 죽고 새 서버 실행이 실패했다

   Binder Project2017

   증상

   mybinder.org 에서 새 서버를 실행하면 임시 사용자를 만들지 못했다는 오류가 떴다. 엔지니어가 마침 Grafana 를 보다가 그래프가 이상한 것을 보고 알아챘다.

   서비스 중단컨테이너 재시작 반복프로브 실패OOMKilled

   촉발

   GKE 노드 하나의 메모리가 바닥났다. 빌드에 메모리 제한이 없어서 빌드 컨테이너가 노드의 메모리를 다 썼을 가능성이 크다고 봤다.

   원인

   용량 한계

   구성 요소

   인그레스 컨트롤러컨테이너 메모리 한도JupyterHub

   기여 요인

   리소스 요청과 한도 미설정수동 조치 악화한계 경보 부재

   감지

   엔지니어가 마침 Grafana 를 보다가 그래프가 이상한 것을 보고 알아챘다.

   조치

   • 메모리가 바닥난 노드를 cordon 했다.
   • cordon 했던 노드를 다시 uncordon 했다.

   후속 조치

   • repo2docker 에서 빌드 파드가 쓸 수 있는 메모리를 제한한다.
   • jupyterhub 파드가 재시작해도 사용자 파드가 정리되지 않게 설정을 고친다.
   • 장애 대응 때 명령을 직접 실행할 사람 한 명을 정하고 터미널 공유도 고려한다. 클러스터 상태를 바꾸는 명령은 그 한 사람만 내리고, 다른 사람은 그 명령을 알고 있게 한다.
   • 클러스터에 문제가 생겼을 때 울리는 경보를 더 잘 갖춘다. 이번 장애는 jupyterhub 파드의 4xx 응답 수를 세는 경보로 잡을 수 있었다.

   사례 보기

원인별8