사례2건

2건 중 1~2번째

1. IL-0156 인증서 교체 뒤 옛 인증서를 폐기하자 애틀랜타 LKE 의 클러스터 관리와 오토스케일링이 5xx 오류로 실패했다.

   Linode2025

   증상

   2025년 9월 24일 02:29 UTC 무렵부터 US-Southeast 애틀랜타의 LKE 오토스케일링이 영향을 받았고 고객은 클러스터를 관리할 수 없었다. 노드 풀 수정, 스케일링, 클러스터 생성과 삭제가 막혔다. 실행 중인 고객 워크로드는 영향을 받지 않았다.

   오류율 상승오토스케일러 오동작

   촉발

   9월 23일 클러스터 컨트롤러의 만료가 다가온 인증서를 교체한 뒤, 후속 작업으로 9월 24일 02:29 UTC 에 관련 컨트롤러의 옛 인증서를 폐기했다.

   원인

   인증서·자격 증명 만료

   구성 요소

   관리형 쿠버네티스 컨트롤 플레인과 제공자 API클러스터 오토스케일러

   기여 요인

   늦게 드러난 변경

   조치

   • 문제를 고치는 수정을 배포했다.
   • API 엔드포인트를 재시작했다.

   후속 조치

   • Akamai 전문가들이 근본 원인을 계속 조사하고 알맞은 예방 조치를 한다.

   사례 보기
2. IL-0163 자동 테스트가 잡지 못한 API 변경이 배포돼 LKE 클러스터 크기를 바꿀 때 노드가 잘못된 수만큼 만들어졌고, 고객 계정에 과금되는 노드가 늘었다

   Linode2023

   증상

   2023년 5월 31일 16시 UTC 무렵부터 일부 고객의 LKE 클러스터 크기가 예상하지 못한 방식으로 바뀌었다. 클러스터 크기를 조정하면 잘못된 수의 노드가 만들어졌고, 고객 계정에 과금되는 자원이 추가됐다.

   오토스케일러 오동작

   촉발

   5월 31일 16시 UTC 무렵 LKE 클러스터를 잘못 스케일링하게 만드는 API 변경이 운영에 배포됐다. 자동 테스트에 빈틈이 있어 이 실패를 잡지 못했다.

   원인

   배포 결함

   구성 요소

   노드 풀

   기여 요인

   자동 테스트 공백

   감지

   Linode 는 6월 1일 05시 07분 UTC 에 LKE 클러스터 크기를 조정하면 잘못된 수의 노드가 생기는 문제를 알고 있다고 공지했다. 변경이 나간 지 약 13시간 뒤였다.

   조치

   • 6월 1일 05시 07분 UTC 고객에게 가능하면 클러스터 크기 조정을 피하라고 안내했다.
   • 09시 40분 UTC 잘못된 스케일링을 바로잡는 핫픽스를 적용했다.
   • 고객 워크로드에 영향을 주지 않도록 늘어난 워커 노드를 지우지 않고 그대로 두었다.
   • 영향받은 고객에게 티켓으로 요금 조정과 추가 조치 방법을 알렸다.

   후속 조치

   • 자동 테스트를 점검한다.
   • 같은 일이 다시 일어나지 않도록 배포 전 체크리스트 항목을 추가했다.

   교훈

   자동 테스트가 잡지 못한 API 변경 하나가 고객 클러스터의 노드 수를 바꾸고 요금까지 늘렸다. Linode 는 테스트를 점검하고 배포 전 체크리스트를 늘리는 것으로 대응했다. 잘못 늘어난 노드라도 지우면 고객 워크로드에 영향을 줄 수 있어서, Linode 는 노드를 지우지 않고 요금 조정으로 보정했다.

   사례 보기

원인별2