Incident Library

IL-0221 Meta · 2021-10-04networking

유지보수 명령이 Facebook 백본 네트워크의 연결을 모두 끊어 데이터 센터와 DNS 서버가 인터넷에서 닿지 않게 됐다.

2021-10-04 에 Facebook 의 전 세계 백본 네트워크 용량을 관리하는 시스템에서 장애가 시작됐다. 백본은 Facebook 의 모든 데이터 센터를 잇는 수만 마일 길이의 광섬유 네트워크다. 엔지니어들은 광섬유 수리, 용량 증설, 라우터 소프트웨어 업데이트를 위해 백본 일부를 자주 내린다. 이런 일상적인 유지보수 작업 중에 전 세계 백본 용량의 가용성을 평가하려는 명령이 백본의 모든 연결을 끊었다. 명령을 검사하는 감사 도구는 버그 때문에 이 명령을 막지 못했다. 데이터 센터 사이와 인터넷 쪽의 서버 연결이 모두 끊겼다.

DNS 질의에 답하는 일은 작은 시설들이 맡는다. 이 시설의 DNS 서버는 데이터 센터와 통신하지 못하면 네트워크가 비정상이라고 보고 권한 있는 네임 서버 주소의 BGP 광고를 끈다. 백본 전체가 빠지자 모든 시설이 스스로 비정상이라고 판단해 BGP 광고를 거둬들였다. DNS 서버는 동작하고 있었지만 인터넷에서 닿지 않았고, 인터넷의 다른 곳에서는 누구도 Facebook 서버를 찾을 수 없었다.

네트워크가 끊겨 평소 방법으로는 데이터 센터에 들어갈 수 없었고, DNS 가 사라져 조사와 복구에 쓰던 내부 도구도 상당수가 망가졌다. 팀은 엔지니어를 데이터 센터 현장에 보냈다. 시설은 물리 보안과 시스템 보안 수준이 높아 들어가기 어려웠다. 안에서도 하드웨어와 라우터를 쉽게 바꿀 수 없게 만들어져 있어, 보안 접근 절차를 거치는 데 시간이 더 걸렸다. 현장에서 문제를 확인한 뒤 백본을 다시 올렸고, 백본이 돌아오자 서비스도 함께 돌아왔다. 데이터 센터의 전력 사용량이 수십 메가와트 떨어진 상태여서 서비스를 한꺼번에 켜면 트래픽이 몰려 다시 무너질 수 있었다. 팀은 서비스, 데이터 센터, 리전 전체를 일부러 내려 보는 storm 훈련을 오래 해 왔다. 그 경험을 살려 늘어나는 부하를 조심스럽게 관리하며 서비스를 올렸고, 그 뒤 시스템 전체에 걸친 장애는 더 일어나지 않았다.

심각도
–
영향 범위
All of Facebook's platforms: data centers disconnected from each other and from the internet, and Facebook's DNS servers unreachable from the rest of the internet
영향 사용자
–
지역
global
감지까지
–
복구까지
–

증상

Facebook 데이터 센터 사이의 서버 연결과 데이터 센터와 인터넷 사이의 서버 연결이 한꺼번에 완전히 끊겼다. DNS 서버는 동작하고 있었지만 인터넷에서 닿지 않아 누구도 Facebook 서버를 찾을 수 없었다. 백본이 통째로 빠지자 DNS 서버가 있는 작은 시설들이 스스로 비정상이라고 판단해 BGP 광고를 거둬들였기 때문이다.

엔지니어들은 네트워크가 내려가 평소 쓰던 방법으로 데이터 센터에 접근할 수 없었다. 주 네트워크를 통한 접근과, 관리용 별도 네트워크를 통한 out-of-band 접근이 모두 끊겼다. DNS 가 통째로 사라지면서 이런 장애를 조사하고 해결할 때 쓰던 내부 도구도 상당수가 망가졌다. 팀은 엔지니어를 현장에 보냈지만 작업을 시작하기까지 시간이 걸렸다. 시설의 물리 보안과 시스템 보안 수준이 높았고, 라우터도 물리적으로 접근해도 바꾸기 어렵게 만들어져 있었다.

백본 연결을 되살린 뒤 데이터 센터들은 전력 사용량이 수십 메가와트가량 떨어졌다고 보고했다. 이렇게 떨어진 전력 사용량이 갑자기 되돌아오면 전기 설비부터 캐시까지 모두 위험해질 수 있었고, 서비스를 한꺼번에 켜면 트래픽이 몰려 다시 무너질 수 있었다.

증상 서비스 중단DNS 조회 실패네트워크 도달 불가

원인

원인 운영 실수

구성 요소 백본망BGP 라우팅DNS 서버와 레코드
기여 요인 자동화 증폭순환 의존디버그 접근 제한
촉발
일상적인 유지보수 작업 중에 전 세계 백본 용량의 가용성을 평가하려고 내린 명령이 의도치 않게 백본 네트워크의 모든 연결을 끊었다. 이런 명령을 검사해 실수를 막는 감사 도구가 버그 때문에 이 명령을 멈추지 못했다.

감지

–

조치

후속 조치

교훈

무단 접근을 막으려고 강화한 보안이, 공격이 아니라 스스로 낸 실수에서 비롯된 장애의 복구를 늦췄다. Meta 는 드문 사고에서 복구가 느려지더라도 평소의 보안을 크게 높이는 편이 낫다고 봤다. 서비스, 데이터 센터, 리전 전체를 내리는 storm 훈련이 부하를 다시 올리는 데 도움이 됐지만, 전 세계 백본이 끊기는 상황은 훈련해 본 적이 없었다.

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 백본망, BGP 라우팅, DNS 서버와 레코드. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.