사례16건

16건 중 11~15번째

1. IL-0539 잘못된 경로 정보가 IS-IS 로 전국 라우터에 퍼져 KT 인터넷이 약 89분 동안 끊겼다

   KT2021

   증상

   2021년 10월 25일 11시 16분쯤부터 KT 의 DNS 서버로 들어오는 트래픽이 갑자기 늘었고, 이어서 전국에서 KT 인터넷이 끊겼다. KT 는 11시 20분에 인터넷 장애를 알아챘다.

   네트워크 도달 불가서비스 중단

   촉발

   KT 부산국사에서 기업망 라우터를 교체하던 작업자가 IS-IS 설정 명령을 마무리하면서 exit 명령을 빠뜨렸다. 그 바람에 뒤의 설정이 BGP 와 연결돼, BGP 로 주고받아야 할 경로 정보가 IS-IS 로 전송됐다.

   원인

   설정 변경

   구성 요소

   내부 라우팅BGP 라우팅

   기여 요인

   리뷰 누락설정 테스트 부재피크 시간 변경과도한 영향 범위

   감지

   11시 16분부터 DNS 서버 트래픽이 급증했고, KT 는 11시 20분에 인터넷 장애를 알아챘다. 정부도 네트워크 트래픽 모니터링에서 트래픽 증가를 보고 현장에 나가 조사했다. KT 는 처음에 DDoS 공격을 의심했다가 11시 44분 라우팅 오류로 판단했다.

   조치

   • 먼저 문제가 된 부산 라우터를 망에서 고립시켰다.
   • 망이 더 나빠지지 않는 상태를 만든 뒤 지역 라우터마다 접속해 확인하고, 문제가 된 프로세스를 지우고 다시 살려 정상화했다.

   후속 조치

   • 주요 통신사업자의 네트워크 작업 체계와 기술적 오류 확산 방지 체계 같은 네트워크 관리 체계를 점검한다.
   • 주요 통신사업자가 네트워크 작업으로 생길 오류를 미리 진단하는 시뮬레이션 시스템을 도입하도록 검토한다.
   • 주요 통신사업자는 승인된 작업계획서의 내용과 절차를 지켰는지 NMS센터와 네트워크관제센터에서 직접 기술적으로 점검하는 체계를 갖춘다.
   • 라우팅 작업 때 한 번에 갱신되는 경로 정보의 개수를 일정 수준 이하로 제한하는 식으로 안전장치를 강화한다.
   • 통신 장애 모니터링 체계를 강화하고, AI 로 예방 진단과 대응을 더 빠르게 하는 기술처럼 네트워크의 안정성과 복원력을 높이는 기술을 개발한다.
   • 안정적인 망 구조와 네트워크 생존성을 확보하는 구조적 대책을 추진한다.
   • 장애를 홈페이지 공지에 그치지 않고 SNS 와 문자를 비롯한 여러 수단으로 알릴 수 있게 고친다.

   교훈

   조사반은 이 장애를 관리 문제와 기술 문제로 나눠 정리했다. 승인된 작업 시간은 야간이었지만 작업은 주간에 관리자 없이 네트워크를 연결한 채 진행됐다. 사람이 직접 검토하는 1·2차 사전검증도 빠진 exit 를 찾지 못했다. 설정을 미리 돌려 볼 가상 테스트베드와 한 지역의 오류가 전국으로 번지는 것을 막는 장치가 없어서 라우터 하나의 실수가 전국 장애가 됐다. 정부는 3년 전 KT 아현국사 화재 뒤의 대책이 물리적이고 국지적인 재난에 맞춰져 있었고, 이번 장애는 시스템 전체에 번지는 새로운 종류였다고 밝혔다.

   사례 보기
2. IL-0228 라우터 설정 변경 중 인터넷 전체 라우팅 테이블이 IGP 로 광고돼 OVHcloud 전 세계 네트워크의 IPv4 라우팅이 멈췄다.

   OVHcloud2021

   증상

   2021-10-13 09:20 CET 에 네트워크 설정을 바꾸던 중 문제가 생겼고, 09:21 CET 에 팀이 라우터 성능 문제를 감지해 곧바로 에스컬레이션했다. IPv6 트래픽은 계속 정상으로 오갔다.

   네트워크 도달 불가서비스 중단

   촉발

   늘어나는 DDoS 공격에 맞서 방어 설정을 강화하려고 미국 Vint Hill 데이터 센터의 라우터에 계획된 변경을 하던 중이었다. 이때 라우터가 BGP 경로를 OSPF 로 재분배하는 설정을 조절하려던 명령을 제대로 해석하지 못했다.

   원인

   설정 변경

   구성 요소

   내부 라우팅BGP 라우팅백본망

   기여 요인

   롤백 무효과도한 영향 범위

   감지

   변경 작업 중이던 09:21 CET 에 팀이 라우터 성능 문제를 감지하고 곧바로 에스컬레이션 절차를 시작했다.

   조치

   • 연결을 격리해 서비스를 최대한 빨리 되살리려고, 10:02 CET 에 데이터 센터 기술자에게 광 장비 연결을 먼저 끊어 달라고 요청했다.
   • 10:10 CET 에 고장 라우터의 전원을 끄기로 했고, 10:18 CET 에 장비를 껐다. 네트워크가 수렴하는 데 2분이 걸렸고 10:20 CET 에 첫 서비스가 돌아왔다.
   • 10:30 CET 부터 남은 서비스를 모두 되살리려고 연결 안정화 작업을 시작했다. 10:57 CET 에 기술적으로 위기가 끝났다.

   후속 조치

   • 명령줄을 그대로 적용하는 이 종류의 장비에서 변경 절차를 다시 평가한다.
   • 평가 결과에 맞춰 관련 변경 절차를 강화한다.

   사례 보기
3. IL-0221 유지보수 명령이 Facebook 백본 네트워크의 연결을 모두 끊어 데이터 센터와 DNS 서버가 인터넷에서 닿지 않게 됐다.

   Meta2021

   증상

   Facebook 데이터 센터 사이의 서버 연결과 데이터 센터와 인터넷 사이의 서버 연결이 한꺼번에 완전히 끊겼다. DNS 서버는 동작하고 있었지만 인터넷에서 닿지 않아 누구도 Facebook 서버를 찾을 수 없었다. 백본이 통째로 빠지자 DNS 서버가 있는 작은 시설들이 스스로 비정상이라고 판단해 BGP 광고를 거둬들였기 때문이다.

   서비스 중단DNS 조회 실패네트워크 도달 불가

   촉발

   일상적인 유지보수 작업 중에 전 세계 백본 용량의 가용성을 평가하려고 내린 명령이 의도치 않게 백본 네트워크의 모든 연결을 끊었다. 이런 명령을 검사해 실수를 막는 감사 도구가 버그 때문에 이 명령을 멈추지 못했다.

   원인

   운영 실수

   구성 요소

   백본망BGP 라우팅DNS 서버와 레코드

   기여 요인

   자동화 증폭순환 의존디버그 접근 제한

   조치

   • 주 네트워크 접근과 out-of-band 접근이 모두 끊겨, 팀은 엔지니어를 데이터 센터 현장에 보내 문제를 디버깅하고 시스템을 다시 시작하게 했다.
   • 보안 접근 절차를 거쳐 현장 인력이 서버를 다룰 수 있게 된 뒤 문제를 확인하고 백본을 다시 온라인으로 올렸다.
   • storm 훈련에서 얻은 경험을 살려 서비스를 다시 켜면서 늘어나는 부하를 조심스럽게 관리했다.

   후속 조치

   • 전 세계 백본이 끊기는 상황을 storm 훈련으로 시뮬레이션할 방법을 찾는다.
   • 테스트와 훈련, 전반적인 복원력을 강화해 이런 사고가 최대한 드물게 일어나게 한다.

   교훈

   무단 접근을 막으려고 강화한 보안이, 공격이 아니라 스스로 낸 실수에서 비롯된 장애의 복구를 늦췄다. Meta 는 드문 사고에서 복구가 느려지더라도 평소의 보안을 크게 높이는 편이 낫다고 봤다. 서비스, 데이터 센터, 리전 전체를 내리는 storm 훈련이 부하를 다시 올리는 데 도움이 됐지만, 전 세계 백본이 끊기는 상황은 훈련해 본 적이 없었다.

   사례 보기
4. IL-0222 유지보수 자동화가 여러 위치의 네트워크 제어 평면 작업을 한꺼번에 내려 미국 Google Cloud 리전의 네트워크가 심하게 혼잡해졌다.

   Google Cloud2019

   증상

   2019-06-02 US/Pacific 11:47~11:49 부터 미국 여러 리전의 Google Cloud 프로젝트에서 패킷 손실이 늘고, 지연이 커지고, 간헐적 오류와 인스턴스 연결 끊김이 나타났다. us-west1 과 유럽, 아시아 리전에는 리전 네트워크 혼잡이 없었다. Google 엔지니어는 장애가 시작되고 2분 뒤 알림을 받았다.

   패킷 손실네트워크 도달 불가지연 시간 증가오류율 상승모니터링 중단

   촉발

   US/Pacific 11:45 에 비교적 드문 유형의 데이터 센터 유지보수 이벤트가 물리 위치 한 곳에서 시작됐다. 자동화 소프트웨어가 내릴 작업 목록에 네트워크 제어 작업을 돌리는 논리 클러스터를 넣었다. 이 클러스터에는 다른 물리 위치의 네트워크 제어 작업도 들어 있어, 여러 위치의 네트워크 제어 평면과 지원 인프라가 한꺼번에 내려갔다.

   원인

   소프트웨어 결함

   구성 요소

   네트워크 컨트롤 플레인BGP 라우팅백본망

   기여 요인

   과도한 영향 범위순환 의존디버그 접근 제한롤백 무효

   감지

   Google 엔지니어는 장애가 시작되고 2분 뒤 알림을 받았고, 가장 심각한 운영 사고에 쓰는 사고 관리 절차를 곧바로 시작했다. 고객용 상태 페이지에는 US/Pacific 12:53 에 첫 공지가 올라왔다.

   조치

   • 혼잡을 줄이려고 덜 중요한 네트워크 트래픽 등급의 우선순위를 낮췄다.
   • US/Pacific 13:01 에 근본 원인을 찾고, 유지보수 이벤트를 일으킨 자동화 소프트웨어를 멈췄다.
   • 네트워크 제어 평면과 지원 인프라를 위치마다 다시 스케줄해 켰다.
   • 제어 평면 인스턴스가 모두 내려가면서 사라진 설정 데이터를 여러 위치에 다시 만들어 배포했다. 새 설정은 14:03 부터 나가기 시작했다.
   • Google 안의 여러 팀이 서비스별 완화 조치로 트래픽을 피해 리전 밖으로 돌려 다른 곳에서 계속 서비스했다.
   • us-west2, northamerica-northeast1, southamerica-east1 에서 장애 때문에 fail-safe 상태에 들어간 VPN 제어 평면을 손으로 빼냈다. 이 리전의 VPN 게이트웨이는 16:30 에 회복됐다.

   후속 조치

   • 유지보수 때 작업을 내리는 데이터 센터 자동화 소프트웨어를 즉시 멈췄고, 여러 물리 위치에서 동시에 작업을 내리지 않게 하는 안전장치를 갖춘 뒤에만 다시 켠다.
   • 클러스터 관리 소프트웨어가 요청의 출처와 상관없이 여러 물리 위치의 작업을 한꺼번에 내리는 요청을 거부하도록 강화한다.
   • 네트워크 제어 평면 소프트웨어와 지원 인프라가 이번 사고에 얽힌 유형의 유지보수 요청을 거부하도록 다시 설정한다.
   • 위치마다 네트워크 제어 평면이 설정을 영구 저장하게 바꿔, 모든 작업이 내려가도 설정을 다시 만들고 배포할 필요가 없게 한다. 이렇게 하면 복구 시간이 열 배쯤 줄어든다.
   • 제어 평면을 잃었을 때 네트워크가 fail static 모드로 더 오래 버티게 해, 사용자 영향 없이 복구할 시간을 충분히 둔다.
   • 고객 소통 도구를 포함한 비상 대응 도구와 절차를 검토하고 고치고 시험해, 이번과 같은 네트워크 장애에도 견디게 한다.
   • 상시 재해 복구 시험의 범위를 넓혀 이번 장애와 이와 비슷한 수준의 큰 장애를 넣는다.

   사례 보기
5. IL-0358 Packet 공용 클라우드의 여러 리전에서 라우팅 루프와 블랙홀로 연결이 간헐적으로 끊겼다

   Packet2019

   증상

   2019-06-02 08:49 UTC 에 Packet 의 내부 네트워크 모니터링이 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제와 성능 문제를 알렸다. 엔지니어들은 08:52 에 이 연결 문제를 확인했다.

   네트워크 도달 불가패킷 손실지연 시간 증가

   촉발

   Packet 의 상위 네트워크 사업자 Zayo 의 미국 대륙 횡단 백본 링크에 하드웨어 고장이 나서, 그 링크로 라우팅된 IP 트래픽이 블랙홀로 사라졌다.

   원인

   의존성 장애

   구성 요소

   백본망BGP 라우팅네트워크 컨트롤 플레인

   기여 요인

   –

   감지

   08:49 UTC 에 모니터링 도구가 Packet 의 여러 글로벌 데이터센터에서 목적지에 닿지 못하는 문제를 알렸다. 08:52 에 엔지니어링 팀이 문제를 확인하고 내부 사고를 만들어 운영 인력과 플랫폼 엔지니어링, 네트워크 엔지니어링의 에스컬레이션 담당자를 불렀다.

   조치

   • 트래픽을 다른 네트워크로 옮겨 Zayo 를 상위 사업자 구성에서 뺐다.
   • 알맞은 경로 필터를 적용해 서비스를 정상으로 되돌렸다.
   • 바뀐 트래픽 구성에 맞춰 특정 라우팅 정책을 다듬어 백본 전반의 지연을 줄였다.

   후속 조치

   • 내부 연결 모니터링을 넓히고, 당직 운영팀에게 가는 알림을 늘린다.
   • 네트워크 자동화와 라우팅 프로토콜 구현을 넓혀 쓸 수 있는 모든 백본 경로로 더 잘 라우팅하고 부하를 나눈다. 큰 사업자 사고가 나면 운영자가 Packet 의 모든 데이터센터에 걸쳐 자동 트래픽 우회를 실행할 수 있게 한다.
   • Packet 의 프로비저닝 시스템과 서비스가 외부 네트워크 사업자와 데이터센터 사이 연결에 덜 의존하게 해서 복원력을 높인다.

   사례 보기

원인별6