사례1건

1건 중 1~1번째

1. IL-0254 내부 DNS 서버가 무너져 Square 의 제품과 서비스가 약 15시간 멈추고 결제가 되지 않았다

   Square2023

   증상

   2023년 9월 7일 오후 1:54 ET 부터 Square 의 제품과 서비스를 쓸 수 없었다. 오후 2:02 ET 에 엔지니어들이 인프라 문제 알림을 받고 DNS 부터 조사하기 시작했다.

   DNS 조회 실패서비스 중단

   촉발

   Square 는 2023년 9월 7일 오전 11:04 ET 에 리전 간 통신을 열려고 호스트 방화벽 규칙 변경을 배포했고, 오후 1:56 ET 에는 DNS 영역 변경이 있었다. 작은 정책 변경이 노드에서 훨씬 큰 규칙 묶음으로 펼쳐졌다.

   원인

   설정 변경

   구성 요소

   DNS 서버와 레코드노드 iptables 규칙

   기여 요인

   단계적 배포 부재캐시로 가려진 장애순환 의존

   감지

   오후 2:02 ET 에 엔지니어들이 인프라 문제 알림을 받았다. 장애가 시작되고 8분 뒤였다.

   조치

   • DNS 서버로 가는 네트워크 트래픽을 덜고, 새 DNS 서버를 손으로 띄우기 시작했다.
   • 인증과 접근 서비스를 되살리려고 네트워크 변경을 손으로 배포했다.
   • 모든 데이터센터에 네트워크 변경을 손으로 배포했다.
   • DNS 서버를 다시 만들었다.
   • 되돌린 방화벽 규칙 묶음으로 새 설정을 만들어 DNS 호스트에 내보냈다.

   후속 조치

   • DNS 인프라를 격리된 인프라로 옮긴다.
   • 핵심 네트워크 인프라에 모니터링과 최적화를 더한다.
   • 가능한 곳에서 배포 인프라와 플랫폼 인프라 사이의 의존 관계를 최적화한다.
   • 오프라인 모드 지원을 넓히고, 오프라인 모드를 쓸 수 있는지 판매자에게 더 잘 알린다.

   사례 보기

원인별1