IL-0023 Databricks · 2026-07-01 (게시일)ai-infra
Databricks 는 GPU 신뢰성 글에서 최근 장애 하나를 소개했다. 한 학습 작업이 시작 7시간 만에 NCCL 타임아웃으로 죽었고, 조사 결과 RDMA NCCL 집합 통신에 쓰던 InfiniBand 포트 하나가 한 번 내려갔다가 복구된 것이 원인이었다.
작업이 죽은 이유는 두 NCCL 타임아웃 중 어느 쪽이 먼저 터지느냐에 있었다. 흔히 이야기하는 것은 PyTorch 의 NCCL 워치독 타임아웃이다. 이 값은 init_process_group(timeout=...) 으로 정하고, 멈춘 집합 통신을 보통 10분 뒤에 죽인다. 그보다 훨씬 먼저 터지는 것이 InfiniBand 전송 계층의 NCCL_IB_TIMEOUT 이다. 이 값은 내려간 포트가 돌아오기를 얼마나 기다린 뒤 연결을 끊을지 정하는데, 재시도까지 계산하면 기본값이 실제로 약 7초다. 포트가 한 번 내려가 있는 시간이 이보다 길면 연결이 끊기고 집합 통신은 그 자리에서 죽는다. PyTorch 워치독 타임아웃을 얼마로 잡았든 상관없고, 워치독이 멈춤을 알아챌 때는 작업이 이미 죽을 수밖에 없는 상태다.
Databricks 는 학습에 영향을 주는 신호가 플랩 횟수가 아니라 누적 다운 시간이라고 정리했다. 충분히 긴 플랩 한 번이 몇 시간에 걸친 반복 플랩처럼 며칠짜리 학습을 죽일 수 있다. 그래서 Databricks 는 NCCL_IB_TIMEOUT 기본값을 더 잘 견디도록 조정했다. 또 같은 포트 다운 신호를 받으면 작업을 바로 종료하고 체크포인트에서 다시 시작하게 해, 워치독이 터질 때까지 GPU 가 놀지 않게 했다. gpu-monitor 의 연속 점검은 RDMA 포트 다운을 누적 다운 시간 기준으로 감지한다.
Databricks AI 의 한 학습 작업이 시작 7시간 만에 NCCL 타임아웃으로 실패했다.
분산 학습 작업이 죽으면 원인이 무엇이든 로그에는 거의 항상 NCCL 워치독 타임아웃 메시지가 남는다. 모든 랭크가 같은 집합 통신에서 막히고, 워치독이 결국 작업을 죽인다. 타임아웃 메시지만으로는 근본 원인을 거의 알 수 없다. 스택 트레이스에도 증상만 보이므로, 엔지니어는 하드웨어, 패브릭, 파일 시스템, 소프트웨어 계층을 차례로 거슬러 올라가며 원인을 찾아야 한다.
조사해 보니 RDMA NCCL 집합 통신에 쓰던 InfiniBand 포트 하나가 한 번 내려갔다가 복구됐다. 그 뒤로 그 포트가 다시 내려갔다 올라오는 플래핑은 없었다. 연속 헬스 체크가 InfiniBand 포트 플래핑을 감시하고 있었지만, 이 플랩만으로는 임계값에 걸리지 않았다. 플랩 한 번은 보통 포트가 고장 났다는 신호로 보지 않기 때문이다.
학습 작업이 시작 7시간 만에 NCCL 타임아웃으로 죽으면서 드러났다. 연속 헬스 체크가 InfiniBand 포트 플래핑을 감시하고 있었지만, 포트가 한 번만 내려갔다 올라와서 임계값에 걸리지 않았다. 원인은 작업이 죽은 뒤 조사로 찾았다.
NCCL 타임아웃을 PyTorch 워치독 값으로만 생각하면 안 된다. InfiniBand 전송 계층의 NCCL_IB_TIMEOUT 은 기본값이 실제로 약 7초로, 대부분의 팀이 생각하는 것보다 훨씬 짧다. 이 값이 먼저 터지면 워치독 설정과 관계없이 작업이 죽는다. 링크 상태를 볼 때도 플랩 횟수가 아니라 누적 다운 시간을 봐야 한다. 한 번뿐인 긴 플랩도 며칠짜리 학습을 죽일 수 있다.
IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024같은 원인 · 공통 InfiniBand 패브릭, NCCL, PyTorch
IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021같은 원인 · 공통 InfiniBand 패브릭, NCCL
IL-0133 폭풍으로 데이터센터 냉각이 멈춰 us-central1 리전 전체가 내려갔고, 디스크 핫플러그 버그로 Managed Kubernetes 컨트롤 플레인 약 140개의 복구가 길어졌다.Nebius · 2026같은 원인 · 공통 InfiniBand 패브릭
IL-0134 AUS01 데이터센터에 전력 문제가 생겨 GPU 노드 246대와 스파인 스위치, VAST 스토리지가 한꺼번에 재부팅됐고, 워크로드가 실패하고 NFS 마운트가 끊겼다.Lambda · 2026 · sev1같은 원인 · 공통 InfiniBand 패브릭
IL-0025 편집자가 연결함https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.