IL-0519 cloud.gov · 2016-03-08awsnetworking
AWS 보안 그룹 변경으로 cloud.gov PaaS 의 나가는 트래픽이 막혀 애플리케이션들이 멈췄다
2016년 3월 8일 태평양 시간 오전 9시 28분에 Aquilent 의 외주 엔지니어가 플랫폼의 ATO 를 받는 과정의 하나로 AWS 보안 그룹 설정을 바꿔 cloud.gov PaaS 의 나가는 트래픽을 제한했다. cloud.gov 의 여러 애플리케이션은 의존하는 서비스에 접속하려고 밖으로 트래픽을 보냈는데, 그 트래픽 일부가 막혀 애플리케이션을 쓸 수 없게 됐고 한때는 모든 애플리케이션이 멈췄다. 애플리케이션마다 예외를 더해 일부를 되살렸지만, 결국 변경을 롤백하기로 해 3월 9일 태평양 시간 오전 8시에 모든 애플리케이션이 돌아왔다. 포스트모템은 3월 10일 태평양 시간 오후 1시 30분에 열렸다.
- 심각도
- –
- 영향 범위
- Applications on cloud.gov that relied on outbound traffic; at one point all applications on the platform
- 영향 사용자
- –
- 지역
- –
- 감지까지
- –
- 복구까지
- 22h 32m
증상
cloud.gov 에서 돌던 애플리케이션 가운데 의존하는 서비스에 접속하려고 밖으로 트래픽을 보내던 애플리케이션들은 그 트래픽이 막혀 쓸 수 없게 됐다. 한때는 cloud.gov 의 모든 애플리케이션이 멈췄다.
원인
원인 설정 변경
구성 요소 VPC 라우팅 테이블과 방화벽 규칙
기여 요인 –
- 촉발
- 3월 8일 태평양 시간 오전 9시 28분에 Aquilent 의 외주 엔지니어가 AWS 의 보안 그룹 설정을 바꿔 cloud.gov PaaS 의 나가는 트래픽을 제한했다. 이 변경은 플랫폼의 ATO 를 받는 과정에서 하던 여러 변경 가운데 하나였다.
감지
–
조치
- 애플리케이션마다 보안 그룹 예외를 더해 일부 애플리케이션을 되살렸다.
- 결국 보안 그룹 변경을 롤백하기로 했고, 3월 9일 태평양 시간 오전 8시에 모든 애플리케이션이 돌아왔다.
후속 조치
- 보안 그룹 설정을 모두 버전 관리에 넣고, 풀 리퀘스트로 바뀔 내용을 보이게 하며 변경을 언제 적용할지 통제한다.
- cloud.gov 에서 도는 애플리케이션을 모니터링하고, 애플리케이션이 기대대로 돌지 않으면 cloud.gov 팀이 알림을 받게 한다.
- AWS 보안 그룹 대신 CF 보안 그룹을 쓰고, 이 규칙의 현재 상태를 cloud.gov 팀과 cloud.gov 를 쓰는 팀들이 볼 수 있게 한다.
- 플랫폼에서 도는 애플리케이션마다 주요 연락 담당자에게 알릴 수 있는 알림 체계를 만든다.
- 이런 변경을 실제와 더 가깝게 시험할 수 있도록 스테이징 환경을 더 정확하게 만든다.
교훈
–
출처
관련 사례
같은 원인 · 공통 VPC 라우팅 테이블과 방화벽 규칙
같은 원인 · 공통 VPC 라우팅 테이블과 방화벽 규칙
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0519
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0519/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.