Incident Library
  • 원인
  • 구성 요소
  • 증상
  • 기여 요인
  • 사례

사례2건

2건 중 1~2번째

  1. IL-0461 메트릭 질의 서비스를 롤아웃할 때마다 DNS 오류가 나며 질의가 실패했다
    Datadog2022
    증상

    2021년 9월부터 메트릭 질의 서비스의 업데이트를 롤아웃할 때마다 오류가 늘었다. 서비스 로그에는 DNS 오류 때문에 메트릭 데이터 저장소에 연결하지 못했다는 내용이 찍혔다. 클라이언트가 실패한 질의를 자동으로 재시도해 사용자에게 보이는 오류는 적었지만, 재시도 때문에 대시보드와 모니터의 지연이 늘었다.

    오류율 상승DNS 조회 실패지연 시간 증가OOMKilled패킷 손실오래된 엔드포인트 라우팅
    촉발

    2021년 8월 메트릭 질의 클라이언트의 업데이트를 롤아웃하면서 새 기본값인 gRPC round_robin 부하 분산 정책이 처음 적용됐다. round_robin 은 끊긴 채널을 자동으로 다시 연결하는데, 오래전에 넣어 둔 매우 공격적인 gRPC 재연결 타임아웃과 겹쳐 서비스 롤아웃 때마다 사라진 파드 IP 로 SYN 이 쏟아졌다.

    원인
    설정 변경
    구성 요소
    conntrack 테이블Cilium리눅스 커널CoreDNS클라이언트 쪽 DNS 리졸버와 캐시external-dnsHTTP·RPC 클라이언트 라이브러리
    기여 요인
    늦게 드러난 변경재시도 폭주한계 미인지모니터링 사각지대
    감지

    2021년 9월부터 메트릭 질의 서비스 롤아웃 때 오류가 늘어나는 것을 보았고, 서비스 로그에서 DNS 오류가 데이터 저장소 연결을 막는 것을 확인했다.

    조치
    • node-local-dns 파드의 메모리를 64 MB 에서 256 MB 로 올렸다. OOM 오류는 멈췄지만 DNS 오류는 계속됐다.
    • AWS 가 더 많은 연결을 추적할 수 있다고 한 더 큰 인스턴스 유형으로 서비스 인프라를 올려 보았고, 그것만으로 문제가 사라지는 것을 확인했다.
    • SYN 폭주를 일으킨 사용자 지정 gRPC 재연결 파라미터를 지우고 기본값으로 되돌리는 PR 을 만들었다. 다음 롤아웃에서는 오류가 나지 않았다.
    후속 조치
    • Cilium 프로젝트에 PR 을 기여한다. 이 PR 은 옛 파드 IP 에 unreachable 경로를 더해, 지워진 파드로 가는 요청이 martian 패킷이 되지 않게 한다. 그러면 역경로 필터가 SYN 을 버리지 않고, 클라이언트는 분명한 ICMP 오류를 받는다.
    교훈

    gRPC, 쿠버네티스, AWS 같은 강력한 추상화도 엣지 케이스에서는 평소에 숨어 있던 복잡함이 오류로 드러난다. 몇 달을 조사한 끝에, 이번 장애의 뿌리가 팀이 직접 한 변경에 있다는 것을 찾았다. 의존성의 버그를 피해 가려던 변경, 이전 장애를 고치려던 변경, 기본 재연결 파라미터를 덮어쓴 변경이었다. 이 변경들은 당시에는 안전해 보였지만 한참 뒤에 상관관계를 찾기 어려운 때에 뜻밖의 결과를 냈다. DNS 문제처럼 보여도 DNS 문제가 아닐 때가 있다. AWS ENA 지표와 VPC Flow Logs 는 연결 추적을 들여다보는 데 중요하다. DNS 전파 시간은 여러 요인에 좌우된다.

    사례 보기
  2. IL-0252 서비스 디스커버리 장애로 Spotify 앱에서 로그아웃된 사용자가 전 세계에서 다시 로그인하지 못했다
    Spotify2022
    증상

    2022년 3월 8일 18:12 UTC 부터 여러 클라이언트 앱에서 사용자가 로그아웃됐다는 신고가 올라오기 시작했다. Spotify 앱에서 로그아웃된 사용자는 다시 로그인할 수 없었고, 장애는 전 세계에 걸쳤다.

    오류율 상승
    촉발

    2022년 3월 8일 Spotify 의 일부 서비스가 서비스 디스커버리에 쓰는 Google Cloud Traffic Director 에 장애가 났다.

    원인
    클라우드 제공자 장애
    구성 요소
    서비스 디스커버리HTTP·RPC 클라이언트 라이브러리
    기여 요인
    장애 중첩
    감지

    18:12 UTC 에 여러 클라이언트 앱에서 사용자가 로그아웃됐다는 신고가 올라오면서 알게 됐다.

    조치
    • 영향받은 시스템이 DNS 기반 서비스 디스커버리를 다시 쓰도록 설정 변경을 배포했다.
    후속 조치
    • Google Cloud 와 함께 Traffic Director 의 문제가 어떻게 Spotify 사용자에게 큰 장애로 번졌는지 알아본다.
    • 비슷한 서비스 디스커버리 문제를 더 일찍 잡도록 모니터링과 알림을 더한다.
    • 모니터링, 오류 자동 감지, 자동 복구 쪽으로 안전장치를 더 찾아 넣는다.
    사례 보기
내 클러스터에도 있는지 확인하기

이 2건에서 가장 많이 나오는 구성 요소: HTTP·RPC 클라이언트 라이브러리, Cilium. kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이런 틈을 점검합니다. 점검 항목의 근거는 이 라이브러리와 같은 공개 보고서입니다.

kubegap 열기

원인별2

설정 변경1건

구성 요소
Ciliumconntrack 테이블CoreDNS클라이언트 쪽 DNS 리졸버와 캐시external-dnsHTTP·RPC 클라이언트 라이브러리리눅스 커널
기여 요인
늦게 드러난 변경한계 미인지모니터링 사각지대재시도 폭주
조직
Datadog
  1. IL-0461 메트릭 질의 서비스를 롤아웃할 때마다 DNS 오류가 나며 질의가 실패했다
    Datadog2022

클라우드 제공자 장애1건

구성 요소
HTTP·RPC 클라이언트 라이브러리서비스 디스커버리
기여 요인
장애 중첩
조직
Spotify
  1. IL-0252 서비스 디스커버리 장애로 Spotify 앱에서 로그아웃된 사용자가 전 세계에서 다시 로그인하지 못했다
    Spotify2022