Incident Library

API · MCP English

API 와 MCP kubegap 정정과 제안

Incident Library

API · MCP English

증상

부하 불균형

Load imbalance · uneven-load

4건 · 2019년부터 2022년

원인 용량 한계1건 설정 변경1건 의존성 장애1건 소프트웨어 결함1건

구성 요소 설정 템플릿2건 서비스 디스커버리2건 컨테이너 런타임1건 파드용 자격 증명 중개자1건

기여 요인 기본 설정 방치2건 초기 신호 무시2건 스테이징 불일치2건 미검증 가정1건

조직 Airbnb1건 Grafana Labs1건 Skyscanner1건 Target1건

사례

IL-0191 Loki distributor 서비스에 레이블 셀렉터가 하나 더 들어가 롤아웃 중 새 파드 몇 개에만 쓰기 트래픽이 몰렸고, 그 파드들이 OOM으로 죽으면서 로그 쓰기 경로가 약 25분간 멈췄다.Grafana Labs · 2022
원인 설정 변경
IL-0033 kube-dns 파드 사이의 트래픽 불균형과 DNS 초당 패킷 한도 때문에 외부 DNS 조회가 많은 여러 서비스의 지연 시간이 20초까지 늘었다Airbnb · 2019
원인 용량 한계
IL-0011 HAProxy 인그레스 템플릿이 백엔드 파드를 IP 순으로 정렬해 일부 파드에 요청이 몰리고 인그레스 컨테이너가 OOMKilled 됐다 · 2019

그래프에서 보기

클라이언트 쪽 DNS 리졸버와 캐시1건

인그레스 컨트롤러1건

컨테이너 메모리 한도1건

텔레메트리 에이전트1건

자동화 증폭1건

과도한 영향 범위1건

미패치 알려진 버그1건

단일 장애점1건

원인 소프트웨어 결함

IL-0073 Kafka 연결이 끊기자 로깅 사이드카가 Docker 데몬에 부하를 주어 노드가 줄줄이 비정상이 되었고, 재스케줄링으로 생긴 노드 약 41,000개가 Consul gossip 메시를 오염시켜 Vault 와 배포 엔진까지 멈췄다Target · 2019 · sev1

원인 의존성 장애