Incident Library

IL-0381 Linode · 2022-10-10database

Newark 의 Linode Object Storage 가 두 번 느려지고 일부 요청이 504 gateway timeout 으로 실패했다

10월 10일부터 16일까지 한 주 동안 Newark 의 Linode Object Storage 에서 성능과 가용성이 떨어지는 장애가 두 번 났다. 10월 16일 장애는 10월 10일 장애를 조사하는 중에 일어났고 두 장애는 서로 이어져 있었다. 조사해 보니 백엔드 Object Storage 노드 하나에 하드웨어 문제가 있었다. 완전한 고장이 아니어서 백엔드 인프라가 올라왔다 내려가기를 반복했고, 이 불안정 때문에 클러스터에서 복구 작업이 지나치게 많이 일어났다. 그래서 성능이 떨어졌고, 일부 경우에는 프런트엔드 게이트웨이가 고객에게 504 gateway timeout 으로 응답했다.

10월 16일 10:31 UTC 에 그 백엔드 Object Storage 인프라의 하드웨어가 완전히 고장 났고, Linode 는 그것을 클러스터에서 뺐다. 빼고 나자 클러스터가 회복했고, 클라이언트 IO 의 병목이 풀렸고, 프런트엔드 게이트웨이가 안정되어 다시 정상으로 요청을 처리했다.

심각도
–
영향 범위
Linode Object Storage in Newark: reduced performance and availability, with 504 gateway timeouts in some cases
영향 사용자
–
지역
Newark
감지까지
–
복구까지
–

증상

10월 10일부터 16일까지 한 주 동안 Newark 의 Linode Object Storage 에서 성능과 가용성이 떨어지는 장애가 두 번 났다. 일부 경우에는 프런트엔드 게이트웨이가 고객에게 504 gateway timeout 으로 응답했다.

10월 16일의 두 번째 장애는 10월 10일 장애를 아직 조사하는 중에 일어났고, 두 장애는 서로 이어져 있었다.

백엔드 Object Storage 노드 하나의 하드웨어 문제가 서비스 전체의 문제로 번졌다. 하드웨어가 완전히 고장 나지 않아서 백엔드 인프라가 올라왔다 내려가기를 반복했고, 그 때문에 클러스터에서 복구 작업이 지나치게 많이 일어났다.

증상 간헐적 타임아웃처리량 저하

원인

원인 하드웨어 고장

구성 요소 오브젝트 스토리지
기여 요인 모니터링 사각지대자동화 증폭
촉발
백엔드 Object Storage 노드 하나에 하드웨어 문제가 생겼다. 완전한 고장이 아니어서 그 백엔드 인프라가 올라왔다 내려가기를 반복했다.

감지

–

조치

후속 조치

교훈

Linode 는 이 장애로 내부 모니터링 시스템의 빈틈이 드러났다고 적었다. 완전히 고장 나지 않고 이상하게 동작하는 하드웨어의 미묘한 문제는 클러스터 전체에 번지기 전에 찾아내야 한다고 봤다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 오브젝트 스토리지. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.