Incident Library

IL-0540 Korea Ministry of the Interior and Safety · 2023-11-17networking

센터 사이를 잇는 라우터의 포트에서 큰 패킷이 유실돼 지방행정전산서비스와 정부24가 하루 넘게 멈췄다

2023년 11월 17일 금요일 오전, 국가정보자원관리원에서 운영하는 지방행정전산서비스와 정부24가 멈췄다. 장애 당시 로그에서 통합인증서버의 네트워크 세션이 비정상이었다. 전날에는 L4 장비의 OS 업데이트가 있었고, L4 장비가 비정상 상태로 바뀌었다는 로그도 반복해 남았다. 국가정보자원관리원은 원인을 네트워크 영역으로 보고 11월 18일 04시에 L4 장비 2대를 고성능 장비로 바꿨다. 기능 테스트와 부하 테스트로 안정성을 확인한 뒤 오전 9시에 정부24를 다시 열었고, 정부 서비스는 장애가 난 지 24시간 10여 분 만에 재개됐다. 주말이라 서비스는 돌았지만 광주센터 시스템과 연계된 일부 기능이 느렸다. 대전센터 라우터 중 광주센터와 연결된 부분에서 포트 불량을 찾았고, 11월 19일 오전 7시에 다른 포트로 연결을 옮겨 지연을 없앴다.

LG CNS, 네이버클라우드, 소울시스템즈 같은 회사의 외부 전문가 16명과 국가정보자원관리원 인력 13명으로 이뤄진 원인분석반 29명이 원인을 분석했다. 원인분석반은 통합인증서버가 지나는 네트워크 장비, 곧 같은 존의 라우터 2대와 L4 장비 4대, 국가정보통신망 영역의 라우터 8대에서 장애 시점의 로그를 모았다. 같은 존에는 물리 서버 150여 대와 웹서버 19식, WAS서버 50식, DBMS 56식이 함께 돌고 있어서 서버 로그도 분석했다. 구간을 나눠 부하 테스트를 3차에 걸쳐 모두 8회 했다. 트래픽 유입량, L4 장비를 거치지 않는 경로, 패킷 크기, 사용자 수 500명과 1,500명, L4 장비를 지나는 대역폭을 바꿔 가며 시험했다. 그 결과 라우터에 케이블을 연결하는 모듈의 포트 일부에 이상이 있어 큰 패킷이 유실된 것을 찾았다. 1,500바이트 이상의 패킷은 90%가 유실됐다. 라우터 불량 말고 다른 이상은 찾지 못했다. 당초 원인으로 지목된 L4 장비와 라우터로 장애 당시와 비슷한 환경을 만들어 다시 시험했고, 같은 패킷 유실이 재현됐다.

L4 장비의 OS 를 이전 판으로 되돌려도 문제가 그대로여서 OS 업데이트는 원인이 아니었고, 해킹 징후도 없었다. 라우터는 2016년에 도입한 Cisco 장비로, 사용기한이 지나지 않았다. 고장은 부품의 물리적 손상이어서 손상된 이유는 밝히기 어려웠다. 이중화는 구성돼 있었지만, 장비 전체가 아니라 모듈 일부에 이상이 생겨 장비가 비정상으로 판단되지 않았고 이중화가 제대로 작동하지 않았다. 이 포트는 전체 서비스에 영향을 주는 위치에 있어서 파급이 컸다. 데이터나 프로그램이 손상되지 않았기 때문에 원격지 백업센터로 넘기는 대신 지금 센터를 고쳐 복구했다.

심각도
–
영향 범위
Local government administrative computer services and Government24 stopped on 17 November until about 09:00 on 18 November; some functions linked to Gwangju center systems were slow until 19 November
영향 사용자
–
지역
National Information Resources Service, Daejeon and Gwangju centers
감지까지
–
복구까지
–

증상

2023년 11월 17일 금요일 오전, 지방자치단체가 쓰는 지방행정전산서비스와 정부24가 멈췄다. 장애 당시 로그를 보면 통합인증서버의 네트워크 세션이 비정상 상태였다. 네트워크 장비인 L4 장비가 비정상 상태로 바뀌었다는 로그도 여러 번 반복해 남았다.

통합인증서버는 라우터에서 서비스에 필요한 패킷을 제대로 받지 못했고, 지연이 겹치면서 작업을 정상적으로 처리하지 못했다. 나중에 확인해 보니 라우터는 큰 패킷을 잃고 있었고, 특히 1,500바이트 이상의 패킷은 90%가 유실됐다.

11월 18일 04시에 L4 장비를 바꾸고 오전 9시에 정부24를 다시 열었다. 트래픽이 많지 않은 주말이어서 서비스는 정상으로 돌았지만 일부 기능은 느렸다. 느린 기능은 주로 광주센터에 있는 여러 시스템과 연계된 것이었고, 이 지연은 11월 19일 오전 7시까지 이어졌다.

처음에는 L4 장비를 의심했다. 장애 전날 L4 장비의 OS 업데이트가 있었고, L4 장비의 비정상 로그가 반복됐기 때문이다. 그러나 L4 장비의 OS 를 이전 판으로 되돌려도 같은 문제가 나서, OS 업데이트는 원인이 아닌 것으로 드러났다. 해킹 가능성도 보안당국과 함께 살펴봤다. 외부 공격과 내부에 심은 스파이웨어를 모두 가정했지만 징후는 없었다.

증상 서비스 중단패킷 손실지연 시간 증가

원인

원인 하드웨어 고장

구성 요소 NIC·케이블·스위치 포트 링크
기여 요인 모니터링 사각지대그레이 실패
촉발
–

감지

–

조치

후속 조치

교훈

라우터 장비의 기본 모니터링은 하고 있었고 전산실에서는 매일 눈으로도 점검했지만, 이번 문제는 모듈 안의 특수한 부분에서 생겨 미리 잡아내지 못했다. 이중화는 장비 하나가 완전히 작동하지 않을 때 다른 장비가 대신하는 구조여서, 모듈 일부만 고장 난 이번 경우에는 제대로 작동하지 않았다. 고장 난 포트가 전체 서비스에 영향을 주는 위치에 있어 파급이 컸다. 장애가 L4 장비의 OS 업데이트 바로 뒤에 나서 업데이트가 원인처럼 보였지만, OS 를 되돌린 뒤에도 같은 문제가 나서 원인이 아닌 것으로 드러났다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: NIC·케이블·스위치 포트 링크. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.