IL-0134 Lambda · 2026-02-14ai-infranetworking
2026년 2월 14일 21:06 UTC 에 Lambda 의 AUS01 데이터센터에서 전력 문제로 전원이 끊겼다. GPU 노드 246대, 스파인 스위치 4대 전부, mCPU 노드, VAST 스토리지 인프라가 재부팅됐다. 노드는 곧 올라왔지만 스토리지 연결이 끊겨 고객 워크로드가 실패했고, us-west-3 의 Starbase 와 스토리지에 의존하는 다른 서비스도 영향을 받았다.
팀은 먼저 컴퓨트 패브릭과 InfiniBand 연결을 되살리고 UPS 이중화를 일부 복구했다. 이어서 AUS01 의 모든 노드 전원을 올려 네트워크 연결을 되찾고, 물리 점검을 마친 뒤 스토리지를 다시 올렸다. Starbase 와 스토리지 의존 서비스는 정상으로 돌아왔다. 마지막까지 남은 문제는 일부 고객 VM 의 NFS 마운트가 stale 상태이거나 비어 있다는 점이었다. Lambda 는 고객에게 VM 재부팅을 권했다.
2026년 2월 14일 21:06 UTC 에 AUS01 데이터센터의 GPU 노드가 모두 동시에 재부팅됐다. 노드는 곧 다시 올라왔지만, 계획에 없던 재부팅이었고 여러 고객이 영향을 받았다.
노드가 쓰던 스토리지도 연결이 끊겨 워크로드가 실패했다. 전원이 나가면서 GPU 노드 246대, 스파인 스위치 4대 전부, mCPU 노드, VAST 스토리지 인프라가 재부팅됐다.
스토리지가 돌아온 뒤에도 대량 재부팅의 영향으로 일부 고객 VM 에는 NFS 마운트가 stale 상태로 남거나 비어 있었다. stale 상태는 마운트 지점은 남아 있지만 NFS 서버의 파일에 더 이상 접근할 수 없는 상태를 말한다.
원인 의존성 장애
–
–
전원이 끊겨 GPU 노드와 함께 네트워크 스파인과 공유 스토리지까지 재부팅되면, 노드 자체가 다시 뜨는 것보다 전체 복구가 훨씬 오래 걸린다. GPU 노드는 곧 다시 올라왔지만, 팀은 패브릭을 먼저 되살렸고 스토리지는 물리 점검을 마친 뒤에야 다시 올렸다. 일부 VM 에는 stale 상태의 NFS 마운트가 남아, Lambda 는 고객에게 VM 을 재부팅하고 그래도 안 되면 하이퍼바이저를 재부팅하라고 안내했다.
IL-0133 폭풍으로 데이터센터 냉각이 멈춰 us-central1 리전 전체가 내려갔고, 디스크 핫플러그 버그로 Managed Kubernetes 컨트롤 플레인 약 140개의 복구가 길어졌다.Nebius · 2026같은 원인 · 공통 데이터센터 전력·냉각, InfiniBand 패브릭
같은 원인 · 공통 InfiniBand 패브릭
IL-0025 H100 4,088개 클러스터를 구축하는 동안 InfiniBand 배선 오류, 링크 플래핑, GPU 와 PCIe 하드웨어 결함이 학습을 멈추거나 늦췄다Imbue · 2024같은 원인 · 공통 InfiniBand 패브릭
IL-0135 UPS 를 바이패스 모드로 둔 정기 점검 중 전원이 예비 전원으로 넘어가면서 데이터센터 한 열이 정전됐고, 그 열의 GPU VM 이 모두 꺼졌다.Crusoe Cloud · 2023같은 원인 · 공통 데이터센터 전력·냉각
IL-0126 OPT-175B 학습이 클라우드 노드의 ECC 메모리 오류, 같은 결함을 안고 돌아온 교체 노드, 멈추는 체크포인트 다운로드 때문에 2주 동안 40번 넘게 재시작했다.Meta AI · 2021같은 원인 · 공통 InfiniBand 패브릭
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.