Incident Library

조직

Honeycomb

Honeycomb · honeycomb

2건 · 2023년부터 2024년

원인 용량 한계1건업그레이드로 깨진 호환성1건
구성 요소 인메모리 캐시1건클라우드 로드 밸런서1건애플리케이션 데이터베이스1건인그레스 컨트롤러1건
기여 요인 자동화 증폭1건늦게 드러난 변경1건모니터링 사각지대1건재시도 폭주1건스테이징 불일치1건
증상 서비스 중단2건컨테이너 재시작 반복1건데이터베이스 과부하1건오류율 상승1건지연 시간 증가1건오래된 엔드포인트 라우팅1건

사례

  1. IL-0203 클러스터 시스템 업데이트 뒤 AWS Load Balancer Controller 가 실패해 새 파드가 ALB 에 등록되지 않았고, Honeycomb EU1 의 수집과 UI 가 11분 동안 멈췄다Honeycomb · 2024

    원인 업그레이드로 깨진 호환성

  2. IL-0202 갑자기 몰린 쿼리와 데이터베이스 쓰기로 Honeycomb 수집 호스트가 메모리 부족으로 죽었고, 쿠버네티스 CrashLoopBackOff 가 용량 회복을 막아 US1 이벤트 수집이 한 시간 넘게 불안정했다Honeycomb · 2023 · sev1

    원인 용량 한계