IL-0349 IONOS Cloud · 2026-01-15networking
Berlin 의 VMware 기반 Private Cloud 에서 관리망과 스토리지, 외부 라우팅이 함께 끊겼다
2026-01-15 IONOS Cloud 는 Berlin 의 관리 장비에 새 VLAN 을 넣는 계획된 정비를 하고 있었다. 명령을 실행하는 과정에서 사람이 실수해, 새 VLAN 을 덧붙이는 대신 코어 장비와 관리 장비 사이 트렁크의 기존 VLAN 을 덮어썼고 새 VLAN 하나만 살아 남았다. 지워진 VLAN 때문에 Berlin 리전의 여러 관리 인터페이스에 접근할 수 없게 됐다. 이 관리 장비에는 내부 스토리지 클러스터의 인터페이스도 있어서 스토리지 클러스터의 연결이 끊겼고, 여러 VM 과 Edge Node 가 데이터 손상을 막으려고 읽기 전용 모드로 들어갔다. 가상 네트워크와 물리 환경을 잇는 NSX Edge Node 도 영향을 받아 외부 라우팅이 사라졌고, VM 의 인터넷 연결도 끊겼다.
IONOS Cloud 는 08:21 UTC 에 상태 페이지에 Private Cloud 네트워크 장애를 알렸다. 08:37 UTC 에는 수정을 적용하고 지켜보는 중이라고 올렸고, 09:25 UTC 에 사고를 해결로 닫았다. 복구 막바지에 영향을 받은 서비스를 재시작하면서 짧은 2차 장애가 났다.
- 심각도
- –
- 영향 범위
- VMware-based Private Clouds: management VPN access, traffic to and from VMs, internal storage clusters, VMs and Edge Nodes in read-only mode, and external routing through NSX Edge Nodes
- 영향 사용자
- –
- 지역
- Berlin (Location DE/TXL)
- 감지까지
- –
- 복구까지
- –
증상
Berlin 의 VMware 기반 Private Cloud 에서 관리 VPN 접속과 개별 VM 을 오가는 트래픽이 모두 끊겼다.
Berlin 리전의 여러 관리 인터페이스에 접근할 수 없었다. 내부 스토리지 클러스터의 연결이 끊겨, 여러 VM 과 Edge Node 가 데이터 손상을 막으려고 읽기 전용 모드로 들어갔다.
가상 네트워크와 물리 환경을 잇는 NSX Edge Node 가 영향을 받아 외부 라우팅이 사라졌고, VM 이 인터넷과 통신하지 못했다. 복구 막바지에 영향을 받은 서비스를 재시작하자 짧은 2차 장애가 났다.
원인
원인 운영 실수
- 촉발
- 계획된 정비 시간에 작업자가 관리 장비에 새 VLAN 을 더하는 명령을 잘못 실행했다. 코어 장비와 관리 장비 사이 트렁크의 기존 VLAN 이 덮어써지고 새 VLAN 하나만 남았다.
감지
–
조치
- 복구 막바지에 영향을 받은 서비스를 재시작했다. 이 재시작으로 짧은 2차 장애가 났다.
후속 조치
- 관리 장비가 더 잘 분리되도록 구조 전체를 감사한다. 목표 시점은 2026년 3분기다.
- 구성 안전장치나 자동화 스크립트 같은 방법으로 의도하지 않은 VLAN 변경을 막는 방안을 검토하고 적용한다. 목표 시점은 2026년 1분기다.
교훈
–
출처
- https://status.ionos.cloud/incidents/hgt9fqjj7vvm · official-status
관련 사례
같은 원인 · 공통 네트워크 스위치
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0349
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0349/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.