Incident Library

조직

Binder Project

Binder Project · binder-project

5건 · 2017년부터 2022년

원인 소프트웨어 결함2건용량 한계1건클라우드 제공자 장애1건unknown1건
구성 요소 GKE 컨트롤 플레인2건JupyterHub2건인그레스 컨트롤러1건쿠버네티스 API 서버1건컨테이너 메모리 한도1건노드 풀1건영구 볼륨과 스테이트풀셋1건
기여 요인 한계 경보 부재2건디버그 접근 제한1건수동 조치 악화1건모니터링 사각지대1건리소스 요청과 한도 미설정1건온콜 호출 미전달1건
증상 서비스 중단4건배포 실패2건컨테이너 재시작 반복1건모니터링 중단1건노드 NotReady1건OOMKilled1건파드 Pending1건파드 ContainerCreating 정체1건파드 Terminating 정체1건프로브 실패1건API 조회 결과 불일치1건

사례

  1. IL-0403 mybinder.org 의 prod hub 가 실제로는 넘지 않은 파드 quota 를 넘었다는 오류 때문에 새 파드를 만들지 못했다Binder Project · 2022

    원인 소프트웨어 결함

  2. IL-0505 GKE 에서 kubectl logs 가 모든 파드에서 실패해 mybinder.org 사용자에게 빌드 로그가 가지 않았다Binder Project · 2019

    원인 클라우드 제공자 장애

  3. IL-0504 mybinder.org 에서 사용자 파드가 지워지지 않고 쌓여 클러스터가 가득 차고 실행이 약 5시간 동안 실패했다Binder Project · 2018

    원인 소프트웨어 결함

  4. IL-0402 GKE 노드가 고장 나 NodeLost 가 된 JupyterHub 파드가 hub DB 의 PVC 를 놓지 않아 mybinder.org 가 몇 시간 동안 새 사용자를 받지 못했다Binder Project · 2018

    원인 unknown

  5. IL-0503 GKE 노드의 메모리가 바닥나 mybinder.org 의 proxy 파드가 OOM 으로 죽고 새 서버 실행이 실패했다Binder Project · 2017

    원인 용량 한계