IL-0120 OpenAI · 2025-06-09ai-infranetworking
6월 9일 오후 11시 36분 PDT 에 클라우드에서 운영하는 GPU 서버의 호스트 OS 정기 업데이트가 상당수의 GPU 노드에서 네트워크 연결을 끊었다. 매일 예약된 시스템 업데이트가 systemd-networkd 를 재시작했고, 이 재시작이 OpenAI 가 운영 노드에서 돌리는 네트워크 에이전트와 충돌했다. 그 결과 영향받은 노드에서 라우트가 모두 지워졌고, 노드는 네트워크를 잃었다.
GPU 용량이 줄면서 ChatGPT 사용자의 오류율은 최고 약 35%, API 사용자의 오류율은 최고 약 25% 까지 올랐다. 팀은 영향받은 GPU 노드를 대규모로 다시 이미징하고 백그라운드 업데이트를 멈췄다. 노드의 네트워크를 빠르게 되살릴 비상 도구가 없어서 복구가 길어졌다. 6월 10일 오전 9시 40분에 API 의 주요 모델이 모두 정상으로 돌아왔고, 낮 12시 30분에 API 가 완전히 회복됐으며, 오후 3시에 모든 시스템이 복구됐다.
6월 9일 오후 11시 36분 PDT 에 여러 서비스에서 동시에 알림이 울렸다. 인프라가 네트워크 연결을 잃기 시작했고, 상황은 바로 엔지니어링 팀에 에스컬레이션됐다.
상당수의 클라우드 GPU 노드가 네트워크를 잃으면서 서비스가 쓸 수 있는 용량이 줄었다. 6월 10일 오전 1시 45분에는 용량을 다시 배분하는 동안 오류율이 약 5% 에 머물렀다.
영향이 가장 컸던 때는 6월 10일 오전 2시부터 오전 8시 PDT 사이였다. ChatGPT 의 오류율은 최고 약 35% 까지 올랐고, API 의 오류율은 최고 약 25% 였으며 가용성은 75% 까지 떨어졌다.
장애가 시작된 6월 9일 오후 11시 36분 PDT 에 인프라가 네트워크를 잃기 시작하면서 여러 서비스의 알림이 바로 울렸고, 상황은 즉시 엔지니어링 팀에 에스컬레이션됐다.
호스트 OS 의 자동 업데이트가 네트워크 관리 서비스를 재시작하면, 같은 노드에서 라우트를 관리하는 다른 에이전트와 충돌해 노드 전체가 네트워크를 잃을 수 있다. 매일 도는 업데이트는 모든 노드에 거의 같은 시각에 적용된다. 네트워크가 끊긴 노드를 빠르게 되살릴 비상 도구가 없으면 노드를 다시 이미징할 수밖에 없고 복구가 길어진다.
IL-0198 systemd 보안 패치가 Ubuntu 22.04 노드의 systemd-networkd 를 재시작해 Cilium 이 넣은 IP 규칙을 지웠고, 여러 리전과 세 클라우드의 Kubernetes 노드가 한꺼번에 네트워크를 잃었다.Datadog · 2023같은 원인 · 공통 노드 운영체제 이미지, systemd-networkd
IL-0079 GKE 노드가 새 ubuntu_containerd 이미지로 자동 업그레이드된 뒤 커널에서 kube-proxy 가 쓰는 iptables 확장이 빠져, 여러 GKE 클러스터의 인그레스 트래픽이 완전히 끊겼다.Altinity · 2025같은 원인 · 공통 노드 운영체제 이미지
IL-0144 Ubuntu 18.04 의 systemd 보안 업데이트가 DNS 설정을 날려 AKS 노드의 kubelet 이 레지스트리 이름을 해석하지 못하고 파드가 ImagePullBackoff 에 빠졌다.Microsoft Azure · 2022같은 원인 · 공통 노드 운영체제 이미지
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.