사례1건

1건 중 1~1번째

1. IL-0474 Harness Feature Flags 인증 엔드포인트 http://config.ff.harness.io/client/auth 가 일부 요청에 502 를 냈다

   Harness2025

   증상

   2025-10-28 01:47 GMT 에 Feature Flags 서비스의 SDK 트래픽을 흉내 내는 자동 합성 검사가 실패하기 시작했다. http://config.ff.harness.io/client/auth 로 가는 일부 요청이 502 를 받았다.

   오류율 상승이미지 풀 실패

   촉발

   일상 배포 중 쿠버네티스가 파드 일부를 이미지가 로컬에 캐시되지 않은 새 노드로 다시 스케줄했다. 그 이미지는 Google Artifact Registry 에서 이미 지워져 있었다.

   원인

   데이터 손상

   구성 요소

   컨테이너 레지스트리와 자격 증명

   기여 요인

   캐시로 가려진 장애

   감지

   Feature Flags 서비스의 SDK 트래픽을 흉내 내는 자동 합성 검사가 01:47 GMT 에 실패하기 시작하면서 Harness 가 장애를 알아챘다.

   조치

   • 지워진 이미지를 Google Artifact Registry 에 되살렸다.
   • 영향받은 파드를 다시 배포해 정상 동작을 되찾았다.

   후속 조치

   • 의도하지 않은 삭제를 막도록 Google Artifact Registry 의 이미지 보존 정책을 검토하고 강화한다.
   • 운영 이미지가 정해진 최소 기간 동안 모두 남아 있는지 자동으로 검증한다.
   • 이미지 풀 오류를 감시하고 알림을 보낸다.

   사례 보기

원인별1