사례20건

20건 중 1~5번째

1. IL-0237 us-southcarolina 리전에서 Lucidworks AI 의 호스팅 LLM 이 약 1시간 반 동안 500 과 429 오류를 내며 멈췄다

   Lucidworks2026sev1

   증상

   2026-05-28 16:18 UTC 부터 us-southcarolina 리전에서 Lucidworks AI 가 호스팅하는 LLM 인 llama-3-8b-instruct, llama-3v2-3b-instruct, phi-4-multimodal-instruct 에 보낸 질의가 500 이나 429 오류로 실패했다. 검색, 임베딩 모델, Lucidworks Platform UI, passthrough LLM 호출은 정상이었다.

   서비스 중단파드 축출이미지 풀 실패

   촉발

   us-southcarolina 리전 클러스터의 정기 쿠버네티스 패치 업그레이드가 노드 풀을 차례로 교체했다. surge 방식의 노드 풀 업그레이드는 파드가 옛 노드에서 쫓겨나기만 하면 다음 노드로 넘어갔다. 그래서 Ray Serve 의 head 파드와 worker 파드가 새 노드에서 뜨기 전에 모두 쫓겨났다.

   원인

   배포 결함

   구성 요소

   노드 풀모델 추론 서버

   기여 요인

   단계적 배포 부재장애 중첩

   조치

   • 상태가 나빠 컨테이너 이미지를 받지 못하던 교체 head 노드를 손으로 지웠다.
   • 교체 노드에서 LLM 이미지 받기가 끝나기를 기다렸고, 모든 호스팅 모델이 질의에 응답하는 것을 확인했다.
   • 필요한 LLM 이미지가 든 새 노드를 띄우고 Lucidworks AI 트래픽을 그 노드로 돌렸다. 예측 엔드포인트의 200 응답으로 안정을 확인했다.

   후속 조치

   • LLM 워크로드를 돌리는 클러스터의 쿠버네티스 업그레이드를 순서대로 진행해, 한 노드 풀이 완전히 정상이 된 뒤에 다음 노드 풀을 올리게 한다.
   • 큰 ML 모델 이미지를 받는 데 오래 걸리지 않도록 이미지를 노드에 미리 올려 두는 방법을 조사한다. 후보는 디스크 이미지에 컨테이너 이미지를 미리 넣어 두는 방법과 이미지 스트리밍이다.
   • 비정상적으로 느린 Docker 이미지 받기를 조사하도록 클라우드 사업자에게 지원 티켓을 연다.
   • 진행 중인 배포와 겹치지 않도록 쿠버네티스 유지 보수 시간을 LLM 서비스 담당자와 맞추는 알림 절차를 만든다.
   • Ray 가 새 배포와 옛 배포를 스스로 정리하기를 기다리지 않고 Lucidworks Engineering 이 blue 나 green 으로 강제 전환할 수 있도록 Ray 클러스터 도구를 개선한다.

   사례 보기
2. IL-0166 컴퓨트 호스트 업데이트로 StackScript 해독에 쓰는 credential parser 가 빠져 새로 만든 LKE 노드가 부팅하지 못했다

   Linode2026

   증상

   2026-05-15 18:18 UTC 에 StackScript 를 쓰는 Linode 가상 머신 배포가 실패하는 문제가 확인됐다. 새로 만든 LKE 와 LKE-E 노드가 모두 여기에 해당했다.

   노드 증설 실패

   촉발

   최근 컴퓨트 호스트 업데이트에서 credential parser 가 제거됐다. 이 파서는 StackScript 를 해독하는 과정에 쓰였다.

   원인

   배포 결함

   구성 요소

   클러스터 오토스케일러노드 풀

   기여 요인

   –

   감지

   Akamai 는 2026-05-15 18:18 UTC 에 Linode 배포 실패 문제를 확인했다. 상태 페이지의 첫 공지는 05-16 00:42 UTC 에 올라왔다.

   조치

   • 05-16 01:10 UTC 에 롤백을 시험하기 시작해 01:20 에 실패가 줄었고, 01:30 에 고객 영향 대부분을 해소했다.

   교훈

   컴퓨트 호스트에서 credential parser 를 없애자 StackScript 로 배포한 Linode 가 모두 부팅하지 못했다. 새 LKE 와 LKE-E 노드도 모두 StackScript 로 배포되므로, 모든 리전에서 노드 생성과 오토스케일링, 노드 재생성이 멈췄다. 롤백 시험을 시작하고 10분 만에 실패가 줄었다.

   사례 보기
3. IL-0234 내부 배포 자동화가 개발용 애플리케이션을 고객의 Managed Kubernetes 클러스터들에 잘못 설치해 컨트롤 플레인 연결과 쿠버네티스 기능에 문제가 났다

   IONOS Cloud2026

   증상

   2026-05-08 15:15 UTC 에 상태 페이지에 공지가 올라왔다. 일부 고객이 컨트롤 플레인에 연결하지 못하고 쿠버네티스 기능이 떨어질 수 있다는 내용이었다. 영향을 받은 곳은 DE/TXL, DE/FRA, DE/FRA/2 의 Managed Kubernetes 였다.

   컨트롤 플레인 무응답이미지 풀 실패

   촉발

   새 Managed Kubernetes 개발 클러스터를 등록하는 정기 내부 작업에서 onboarding operator 를 제외 목록에서 빼는 변경이 들어가자 곧바로 배포가 시작되었다. 이때 operator 의 대상 범위를 정하는 설정 파일은 병합 충돌로 배포 브랜치에 들어가지 못한 상태였다.

   원인

   배포 결함

   구성 요소

   CI 시스템컨테이너 레지스트리와 자격 증명

   기여 요인

   설정 테스트 부재과도한 영향 범위리뷰 누락

   조치

   • onboarding operator 를 고쳐, 네임스페이스 설정이 명시되어 있어야만 클러스터에 작업하게 했다. 이제 operator 는 기본 설정만으로는 cluster-api 기반 클러스터에서 범위 없이 돌지 못한다.
   • 필요한 설정 파일이 없으면 배포가 실패하도록 배포 시스템을 다시 구성했다. 전에는 설정이 덜 갖춰져도 배포가 조용히 진행되었다.
   • 영향을 받은 리소스에서 찾아낸 변경을 되돌리는 롤백을 마쳤고, 남은 불일치가 있는지 리소스를 점검했다.
   • 복구 스크립트를 만들어 스테이징에서 검증한 뒤 운영의 모든 영향 클러스터에 돌렸고, 2026-05-15 까지 의도하지 않은 설치와 변경을 모두 지웠다.

   후속 조치

   • 배포를 시작하기 전에 필요한 설정 파일이 모두 대상 브랜치에 전파되었는지 확인하는 필수 검증 단계를 CI/CD 파이프라인에 넣는다. 목표는 2026년 3분기다.
   • 운영 시스템을 건드리는 모든 배포는 변경 크기와 상관없이 추가 동료 검토와 변경 관리 승인을 반드시 받게 한다. 이 절차는 기존 Change Approval Board 검토에 더해진다. 목표는 2026년 3분기다.
   • 장애 뒤 복구 작업의 진행 상황을 영향을 받은 고객마다 제때 알릴 수 있도록 장애 커뮤니케이션 절차를 고친다. 목표는 2026년 3분기다.

   교훈

   클러스터 구성이 의도하지 않게 바뀐 것은 내부 작업이 고객 환경에 영향을 주지 못하게 막아야 할 통제가 실패했기 때문이다. 정리 작업 동안 영향을 받은 고객에게 진행 상황을 제대로 알리지 않아 불확실성이 더 커졌다.

   사례 보기
4. IL-0167 Osaka 데이터센터에 LKE 소프트웨어 릴리스를 단계적으로 배포한 뒤 LKE-E 클러스터 생성과 관리 작업이 멈췄다.

   Linode2026

   증상

   2026년 3월 12일 19:15 UTC 무렵부터 Osaka 데이터센터인 JP-OSA 에서 고객이 LKE-E 클러스터를 만들 수 없었다. LKE-E 는 Linode Kubernetes Engine for Enterprise 다. 클러스터 생성 과정은 끝없이 멈춰 있었다.

   클러스터·노드 생성 정체업그레이드 정체

   촉발

   Osaka 데이터센터에 LKE 소프트웨어 릴리스를 단계적으로 배포했다.

   원인

   배포 결함

   구성 요소

   관리형 쿠버네티스 컨트롤 플레인과 제공자 API

   기여 요인

   –

   감지

   장애는 19:15 UTC 무렵 시작됐고, 상태 페이지는 약 5시간 30분 뒤인 3월 13일 00:45 UTC 에 Osaka 의 새 LKE Enterprise 클러스터 배포 문제를 조사 중이라고 처음 알렸다.

   조치

   • Akamai 가 소프트웨어 수정을 배포했다.

   후속 조치

   • 담당 전문가들이 근본 원인을 계속 조사하고 알맞은 예방 조치를 한다.

   교훈

   릴리스를 단계적으로 배포한 Osaka 데이터센터에서 LKE-E 클러스터 생성과 관리 작업이 멈췄고, 소프트웨어 수정을 배포하자 풀렸다. 장애 중에 들어온 생성 요청은 수정 뒤 이어서 처리됐다.

   사례 보기
5. IL-0160 고쳐서 다시 돌린 레거시 GPU 모니터링 스크립트의 펌웨어 조회가 GSP 레이스 컨디션을 일으켜 Linode 의 RTX 4000 Ada GPU 가 잠기고 LKE 워커 노드의 GPU 작업이 멈췄다

   Linode2026

   증상

   2026년 3월 4일 21:00 UTC 무렵부터 NVIDIA RTX 4000 Ada GPU 를 쓰는 Linode 인스턴스가 잠기기 시작했다. 처음에는 Linode Kubernetes Engine 의 워커 노드만 겪는 문제로 보였지만, 나중에 이 하드웨어를 쓰는 모든 Linode 가 영향을 받은 것으로 확인됐다. 일반 컴퓨트 인스턴스와 RTX 4000 이 아닌 GPU 인스턴스는 영향이 없었다.

   GPU 인식 불가컨트롤 플레인 무응답

   촉발

   내부 관측 대시보드에서 빠진 지표를 되살리려고 고장 난 레거시 GPU 모니터링 스크립트를 고쳐 배포했다.

   원인

   배포 결함

   구성 요소

   텔레메트리 에이전트GPU 드라이버

   기여 요인

   리뷰 누락미검증 가정

   감지

   고객은 21:00 UTC 무렵부터 잠김을 겪었고, 상태 페이지 첫 공지는 약 5시간 뒤인 3월 5일 02:07 UTC 에 올라왔다. 처음에는 LKE 워커 노드에서만 생기는 문제로 보였다.

   조치

   • 모든 GPU 에서 문제의 모니터링 스크립트를 껐다.
   • 영향을 받은 노드를 재부팅했다.

   후속 조치

   • 재발을 막을 개선 조치와 예방 조치를 마련한다.

   교훈

   모니터링 스크립트가 자기가 지켜보는 하드웨어를 멈출 수 있다. 빠진 지표 하나를 되살리려던 수정이 이전 세대 GPU 용으로 쓴 펌웨어 조회까지 되살렸다. RTX 4000 Ada 아키텍처에서는 동작 중인 GPU 에 이 조회를 보내면 GPU 가 잠긴다. 스크립트가 모든 GPU 에서 돌았기 때문에 여러 리전에서 이 GPU 를 쓰는 모든 Linode 가 영향을 받았다. 엔지니어들은 처음에 호스트 하이퍼바이저나 GPU 펌웨어의 회귀를 의심했다.

   사례 보기

원인별1