사례1건

1건 중 1~1번째

1. IL-0584 Cloud CDN 이 서일본 사용자에게 손상된 JavaScript 파일을 내보내 일부 사용자의 SPA 가 SyntaxError 로 멈췄다

   Monicle2024

   증상

   일부 사용자가 시스템을 쓸 수 없다고 알려 왔다. 그 사용자들의 브라우저에서 SPA 가 SyntaxError 를 내며 동작하지 않았다. 동일본 사용자는 문제가 없었고 서일본 사용자만 영향을 받았다.

   응답 품질 저하

   원인

   클라우드 제공자 장애

   구성 요소

   CDN 과 엣지 네트워크

   기여 요인

   –

   감지

   일부 사용자가 시스템을 쓸 수 없다고 알려 와서 알았다. 대상 제품과 영향 범위를 보고 바로 워룸을 열었다.

   조치

   • Cloud CDN 의 오리진이 도쿄의 NRT 일 때는 재현되지 않고 오사카의 KIX 일 때 재현돼서 우선 Cloud CDN 캐시를 퍼지했다.
   • Cloud Load Balancing 에서 꺼져 있던 Cloud CDN 의 콘텐츠 압축을 compression_mode 로 켰고, 그 뒤 사용자 쪽에서 시스템이 정상으로 동작했다.

   후속 조치

   • 서비스 운영에서 단일 장애 지점이 된 곳을 파악해 두고, 비용을 감당할 수 있으면 그런 곳을 없앤다. PaaS 와 SaaS 에서 난 장애에도 기민하게 대처할 수 있게 준비한다.

   교훈

   글쓴이는 이 장애에 맞춘 구체적인 대책은 아직 없다고 했다. 대신 서비스 운영에서 단일 장애 지점이 된 곳을 파악해 두고, PaaS 나 SaaS 에서 난 장애에도 기민하게 대처할 수 있도록 준비해야 한다고 정리했다.

   사례 보기

원인별1