IL-0280 New Relic · 2021-07-29database

New Relic US 리전의 여러 NRDB 셀에서 Kafka 브로커가 디스크 부족으로 잇따라 멈춰 고객이 몇 시간 동안 데이터 수집과 알림을 쓸 수 없었다

2021년 7월 29일 아침, New Relic 의 텔레메트리 데이터 플랫폼인 NRDB 의 한 셀에서 Kafka 브로커가 응답하지 않았다. NRDB 는 셀마다 Kafka 클러스터, 인터넷으로 데이터를 받는 수집 서비스, 데이터 파이프라인 서비스, NRDB 클러스터를 따로 두고 셀끼리 격리하는 구조다. 최근 자동 복구가 제대로 돌지 않은 일이 몇 번 있었던 터라 엔지니어링 팀은 수동으로 재시작을 걸었다. 그런데 같은 시각 자동 복구도 이미 돌고 있었다. 두 작업은 결국 무사히 끝났지만 서로 부딪혀 클러스터가 예상보다 오래 성능 저하 상태에 있었고, 원인을 파악하기도 어려워졌다.

그동안 처리하지 못한 데이터가 쌓이자 대응 엔지니어는 셀이 회복되기 전에 오래된 데이터가 지워지지 않도록 장애 대응 도구로 Kafka 데이터 보존 기간을 늘렸다. 평소보다 큰 폭의 변경이었다. 예전에는 문제 해결이 빨라 긴급 조치를 일찍 되돌렸지만, 이번에는 원인이 불확실하고 복구가 길어져 긴급 조치를 그대로 둔 채 분석을 이어 갔다. 인프라 자동화는 Kafka 보존 설정을 셀마다 같게 유지하므로 이 변경은 문제가 난 셀뿐 아니라 같은 종류의 모든 셀에 적용됐다. 그 뒤 몇 시간에 걸쳐 브로커 디스크가 천천히 찼다. 디스크 부족 알림이 관계없는 다른 경고들과 겹쳐 엔지니어들은 이 알림을 놓쳤다.

브로커 장애는 몇 셀에서 시작해 점점 더 많은 셀로 번져 데이터 처리 시스템 전반에 장애가 났고, US 리전의 많은 고객이 몇 시간 동안 데이터 수집과 알림을 쓸 수 없었다. 디스크 공간 문제를 해결한 뒤에도 Kafka 문제가 넓게 퍼져 있어 복구가 느렸다. New Relic 은 안전장치 다섯 겹이 실패했다고 정리했다. 첫째, 도구가 큰 보존 기간 증가를 경고 없이 허용했다. 둘째, 엔지니어가 설정 값을 잘못 골랐다. 셋째, 평소에는 문제를 빨리 해결해 늘린 보존 기간이 위험한 수준에 닿은 적이 없었으므로 이 조치가 안전해 보였다. 넷째, 디스크 알림을 놓쳤다. 다섯째, 보존 변경이 같은 종류의 모든 셀에 자동으로 적용되어 셀 격리를 우회했다.

심각도

–

영향 범위

Data collection and alerting were unusable for many customers for multiple hours; Kafka brokers failed across many NRDB cells and data processing was widely disrupted

영향 사용자

many customers in the US region

지역

US region

감지까지

–

복구까지

–