Incident Library

조직

LINE+

LINE+ · line

2건 · 2020년부터 2022년

원인 용량 한계1건설정 변경1건
구성 요소 클라우드 로드 밸런서1건conntrack 테이블1건HAProxy1건인그레스 컨트롤러1건kubelet1건리눅스 커널1건Prometheus1건
기여 요인 미검증 가정1건과도한 영향 범위1건늦게 드러난 변경1건용량 계획 부재1건리소스 요청과 한도 미설정1건재시도 폭주1건
증상 연결 리셋1건컨테이너 재시작 반복1건데이터베이스 과부하1건지연 시간 증가1건간헐적 연결 실패1건모니터링 중단1건OOMKilled1건프로브 실패1건

사례

  1. IL-0177 다른 팀의 설정 배포로 공유 L7 HAProxy 가 재로드될 때마다 messaging-hub 의 웹소켓 연결이 한꺼번에 끊겼다.LINE+ · 2022

    원인 설정 변경

  2. IL-0176 시계열 급증으로 호스트 메모리가 바닥나자 oom_score_adj 999 를 받은 Prometheus 컨테이너가 커널 OOM Killer 에게 먼저 죽어 CrashLoopBackOff 에 빠졌다.LINE · 2020

    원인 용량 한계