사례12건

12건 중 9~12번째

1. IL-0161 앞선 API 업데이트가 의도대로 동작하지 않아 토론토 데이터센터에서 새 LKE 클러스터 프로비저닝이 타임아웃으로 사흘 넘게 실패했다.

   Linode2024

   증상

   2024년 4월 22일 14:05 UTC 쯤 토론토 데이터센터에서 새 LKE 클러스터가 프로비저닝되지 않았다.

   클러스터·노드 생성 정체간헐적 타임아웃

   촉발

   앞서 배포한 API 업데이트가 의도대로 동작하지 않았고, 새 LKE 클러스터를 프로비저닝할 때 타임아웃을 일으켰다.

   원인

   소프트웨어 결함

   구성 요소

   노드 풀

   기여 요인

   –

   감지

   2024년 4월 22일 14:05 UTC 쯤 Linode 팀이 토론토 데이터센터에서 새 LKE 클러스터가 프로비저닝되지 않는 것을 알아채고 조사를 시작했다.

   조치

   • 4월 23일 15:03 UTC 에 문제가 된 토론토 데이터센터의 인프라를 새 LKE 클러스터 프로비저닝에 쓰지 않도록 껐다.
   • 4월 25일 16:45 UTC 쯤 의도대로 동작하지 않던 API 업데이트를 바로잡는 수정을 적용했고, 18:05 UTC 에 새 클러스터 생성이 완전히 돌아온 것을 확인했다.
   • 수정을 적용한 뒤 잠시 빼 두었던 인프라를 다시 프로비저닝에 넣었다.

   교훈

   원인은 오류가 드러난 인프라가 아니라 앞서 배포한 API 업데이트에 있었다. 그런데도 실패는 대부분 한 데이터센터의 백엔드 자원 하나에 몰렸다. 그 자원을 새 클러스터 프로비저닝에서 빼서, 근본 원인을 찾는 데 걸린 사흘 동안 고객 영향을 줄였다.

   사례 보기
2. IL-0163 자동 테스트가 잡지 못한 API 변경이 배포돼 LKE 클러스터 크기를 바꿀 때 노드가 잘못된 수만큼 만들어졌고, 고객 계정에 과금되는 노드가 늘었다

   Linode2023

   증상

   2023년 5월 31일 16시 UTC 무렵부터 일부 고객의 LKE 클러스터 크기가 예상하지 못한 방식으로 바뀌었다. 클러스터 크기를 조정하면 잘못된 수의 노드가 만들어졌고, 고객 계정에 과금되는 자원이 추가됐다.

   오토스케일러 오동작

   촉발

   5월 31일 16시 UTC 무렵 LKE 클러스터를 잘못 스케일링하게 만드는 API 변경이 운영에 배포됐다. 자동 테스트에 빈틈이 있어 이 실패를 잡지 못했다.

   원인

   배포 결함

   구성 요소

   노드 풀

   기여 요인

   자동 테스트 공백

   감지

   Linode 는 6월 1일 05시 07분 UTC 에 LKE 클러스터 크기를 조정하면 잘못된 수의 노드가 생기는 문제를 알고 있다고 공지했다. 변경이 나간 지 약 13시간 뒤였다.

   조치

   • 6월 1일 05시 07분 UTC 고객에게 가능하면 클러스터 크기 조정을 피하라고 안내했다.
   • 09시 40분 UTC 잘못된 스케일링을 바로잡는 핫픽스를 적용했다.
   • 고객 워크로드에 영향을 주지 않도록 늘어난 워커 노드를 지우지 않고 그대로 두었다.
   • 영향받은 고객에게 티켓으로 요금 조정과 추가 조치 방법을 알렸다.

   후속 조치

   • 자동 테스트를 점검한다.
   • 같은 일이 다시 일어나지 않도록 배포 전 체크리스트 항목을 추가했다.

   교훈

   자동 테스트가 잡지 못한 API 변경 하나가 고객 클러스터의 노드 수를 바꾸고 요금까지 늘렸다. Linode 는 테스트를 점검하고 배포 전 체크리스트를 늘리는 것으로 대응했다. 잘못 늘어난 노드라도 지우면 고객 워크로드에 영향을 줄 수 있어서, Linode 는 노드를 지우지 않고 요금 조정으로 보정했다.

   사례 보기
3. IL-0165 프랑크푸르트 LKE 의 백엔드 서비스가 메모리 부족으로 실패해 일부 사용자가 kubectl 로 kube-apiserver 에 접속하지 못했다

   Linode2023

   증상

   2023-05-25 14:11 UTC 에 Linode 는 프랑크푸르트 데이터센터의 일부 LKE 사용자가 kubectl 로 자기 kube-apiserver 에 닿지 못한다는 것을 알게 되었다.

   컨트롤 플레인 무응답

   원인

   용량 한계

   구성 요소

   쿠버네티스 API 서버컨테이너 메모리 한도

   기여 요인

   –

   감지

   Linode 는 14:11 UTC 에 문제를 알게 되었다. 백엔드 서비스가 실패하기 시작한 지 11분 뒤였다.

   조치

   • 메모리 한도를 올렸다.

   후속 조치

   • 영향받은 LKE 구성 요소의 복원력, 이중화, 모니터링을 늘린다.

   사례 보기
4. IL-0164 이전 릴리스의 변경이 빠진 LKE 운영 업데이트 때문에 클러스터 업그레이드와 노드 추가가 오류 없이 실패했다

   Linode2022

   증상

   2022년 6월 15일 18:30 UTC 무렵부터 LKE 고객이 클러스터를 업그레이드하거나 노드를 추가하려 하면 작업이 아무 오류 없이 실패했다. 19:54 UTC 에 상태 페이지에 LKE 문제를 조사 중이라는 공지가 올라왔다. 영향을 받은 곳은 US-East 뉴어크, US-Central 댈러스, US-West 프리몬트, US-Southeast 애틀랜타, CA-Central 토론토, EU-West 런던, EU-Central 프랑크푸르트, AP-South 싱가포르, AP-Northeast 도쿄 2, AP-West 뭄바이, AP-Southeast 시드니 리전의 LKE 였다.

   업그레이드 정체

   촉발

   6월 15일 18:30 UTC 무렵 LKE 운영 환경에 증분 업데이트를 배포했고, 이 업데이트에는 이전 릴리스의 변경이 빠져 있었다.

   원인

   배포 결함

   구성 요소

   노드 풀

   기여 요인

   –

   감지

   상태 페이지 첫 공지는 업데이트 배포 약 1시간 24분 뒤인 19:54 UTC 에 올라왔다.

   조치

   • 빠진 변경을 다음 업데이트에 넣어 21:00 UTC 무렵 배포했다.

   후속 조치

   • 같은 문제를 막으려고 업데이트 절차에 단계와 자동화를 더했다.

   사례 보기

원인별5