Incident Library

IL-0245 Acquia · 2019-02-07networking

US-East 의 Acquia Cloud Enterprise 사이트들이 불안정해지고 멈췄다

2019년 2월 7일 Acquia 는 표준 패키지에 없는 시스템 진단 정보를 모으려고 진단 데이터를 담을 임시 파일 시스템을 설정하고 있었다. 이 작업 중 사람의 실수로 US-East 공유 VPC 의 보안 그룹에서 웹 서버가 Memcache 서버에 연결하도록 허용하는 규칙이 지워졌다. 웹 서버가 Memcache 서버에 닿지 못하자 PHP 프로세스가 막혀 여러 고객의 사이트가 멈췄다. Acquia 의 구성 드리프트 알림은 제대로 울렸다. 하지만 드리프트 오류를 다루는 절차 때문에 그 알림을 장애 시간을 줄일 만큼 제때 확인하지 못했다. Acquia 는 지워진 규칙을 손으로 되살렸고, 장애는 22:17 UTC 부터 23:25 UTC 까지 이어졌다.

심각도: –
영향 범위: Acquia Cloud Enterprise sites (Cloud Platform Enterprise) in US-East
영향 사용자: multiple customers
지역: US-East
감지까지: –
복구까지: 1h 8m

증상

2019년 2월 7일 22:17 UTC 부터 US-East 에 있는 여러 고객의 Acquia Cloud Enterprise 사이트가 불안정해지거나 멈췄다.

웹 서버가 Memcache 서버에 닿지 못하자 웹 서버의 PHP 프로세스가 막혔고, 사이트를 쓸 수 없게 됐다.

증상 서비스 중단 네트워크 도달 불가

원인

원인 운영 실수

구성 요소 VPC 라우팅 테이블과 방화벽 규칙 인메모리 캐시

기여 요인 초기 신호 무시

촉발: 표준 패키지에 없는 시스템 진단 정보를 모으려고 임시 파일 시스템을 설정하던 중, 사람의 실수로 US-East 공유 VPC 의 보안 그룹에서 규칙 하나가 지워졌다.

감지

구성 드리프트 알림은 제대로 울렸다. 하지만 드리프트 오류를 다루는 절차 때문에 그 알림을 장애 시간을 줄일 만큼 제때 확인하지 못했다. 22:46 UTC 에 상태 페이지에 조사 중이라는 공지가 올라왔다.

조치

보안 그룹에서 지워진 규칙을 손으로 되살렸고, 23:25 UTC 에 장애가 끝났다.

후속 조치

관련된 모든 팀과 함께 내부 작업 절차를 고쳐 비슷한 일이 다시 일어나지 않게 한다.
VPC 보안 그룹의 구성 드리프트를 내부 팀에 더 빨리 알리는 장치를 더 만든다.

교훈

–

출처

https://status.acquia.com/incidents/15g5548q4s1h · official-status

관련 사례

IL-0244 EKS 서브넷의 라우팅 테이블 연결이 사라져 live 클러스터의 Cloud Platform 서비스에 접근할 수 없었다UK Ministry of Justice · 2024
같은 원인 · 공통 VPC 라우팅 테이블과 방화벽 규칙

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: VPC 라우팅 테이블과 방화벽 규칙, 인메모리 캐시. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

AI 도구와 스크립트용

이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0245
가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0245/similar
MCP 서버(Streamable HTTP, 키 없음): https://incidentlib-mcp.benchlet.com/mcp

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.