Incident Library

조직

OpenAI

OpenAI · openai

11건 · 2022년부터 2026년

원인 설정 변경4건소프트웨어 결함2건업그레이드로 깨진 호환성2건클라우드 제공자 장애1건배포 결함1건운영 실수1건
구성 요소 애플리케이션 데이터베이스2건인그레스 컨트롤러2건쿠버네티스 API 서버2건자동 용량 관리 시스템1건CNI 플러그인1건클라이언트 쪽 DNS 리졸버와 캐시1건컨테이너 메모리 한도1건모델 허브1건모델 요청 라우팅1건노드 운영체제 이미지1건systemd-networkd1건텔레메트리 에이전트1건
기여 요인 단계적 배포 부재4건과도한 영향 범위3건디버그 접근 제한3건모니터링 사각지대3건파괴적 변경 보호 장치 부재3건자동화 증폭2건여유 용량 부재2건스테이징 불일치2건늦게 드러난 변경1건캐시로 가려진 장애1건한계 경보 부재1건장애 중첩1건의존성에 묶인 헬스 체크1건미뤄 둔 업그레이드1건
증상 오류율 상승10건서비스 중단4건컨트롤 플레인 무응답2건컨테이너 재시작 반복2건지연 시간 증가2건프로브 실패2건데이터베이스 과부하1건DNS 조회 실패1건GPU 인식 불가1건간헐적 타임아웃1건처리량 저하1건

사례

  1. IL-0124 서킷 브레이커가 풀리자 낡은 상태를 근거로 쌓여 있던 용량 조정이 한꺼번에 실행돼 여러 추론 엔진이 동시에 빠졌고, OpenAI API 의 오류율과 지연 시간이 올랐다.OpenAI · 2026

    원인 소프트웨어 결함

  2. IL-0122 여러 핵심 서비스가 함께 읽는 설정에 잘못된 값이 들어가 ChatGPT 파드가 크래시 루프에 빠졌다OpenAI · 2025

    원인 설정 변경

  3. IL-0121 우선순위 낮은 워크로드를 관리하는 컨트롤 플레인 클러스터에 잘못된 코드가 배포되어, 그 클러스터가 함께 관리하던 운영 추론 워크로드가 망가졌다OpenAI · 2025

    원인 배포 결함

  4. IL-0120 클라우드 GPU 서버의 정기 OS 업데이트가 systemd-networkd 를 재시작해 자체 네트워크 에이전트와 충돌했고, 많은 GPU 노드의 라우트가 모두 지워져 ChatGPT 와 API 의 오류율이 크게 올랐다.OpenAI · 2025

    원인 업그레이드로 깨진 호환성

  5. IL-0119 Cosmos DB 장애 뒤 ChatGPT 웹 서비스 파드가 헬스 체크 실패로 크래시 루프에 빠져 chatgpt.com 과 일부 API 의 오류율이 높아졌다.OpenAI · 2025

    원인 클라우드 제공자 장애

  6. IL-0005 새 텔레메트리 서비스가 모든 노드에서 무거운 쿠버네티스 API 요청을 보내 대형 클러스터의 컨트롤 플레인이 무너졌고, DNS 기반 서비스 디스커버리가 깨져 OpenAI 의 모든 서비스가 멈췄다OpenAI · 2024

    원인 설정 변경

  7. IL-0118 쿠버네티스 네임스페이스 라벨을 전역으로 바꾸자 네트워크 계층이 메타데이터를 다시 계산하면서 가장 큰 GPU 클러스터들 가운데 세 곳의 컨트롤 플레인이 과부하에 빠졌고, ChatGPT 와 API 가 타임아웃과 503 오류를 냈다.OpenAI · 2024

    원인 설정 변경

  8. IL-0117 인그레스 업그레이드가 네트워크 컨트롤 플레인 회귀를 일으켜 데이터 플레인이 잠깐 끊겼고, 한꺼번에 재시작한 서비스들이 백엔드 저장소에 과부하를 일으켜 OpenAI API 오류가 늘었다OpenAI · 2024

    원인 업그레이드로 깨진 호환성

  9. IL-0123 응답 버퍼를 재사용하지 않는 버그로 라우팅 계층 노드가 메모리 한도에 걸려 레디니스 검사에 실패했고, 트래픽이 몰리자 남은 노드가 모자라 모든 모델에서 요청 상당수가 502, 503 오류로 실패했다.OpenAI · 2023

    원인 소프트웨어 결함

  10. IL-0116 CNI 설정 변경이 스테이징에 없던 하드웨어 종류와 호환되지 않아 GPU 클러스터 하나의 워크로드가 네트워크 연결을 잃었고, text-davinci-003 모델이 완전히 멈췄다.OpenAI · 2023

    원인 설정 변경

  11. IL-0115 OpenAI 의 운영 AKS 클러스터 세 개 중 하나가 사람의 실수로 통째로 내려가 Codex, Embeddings, 구형 GPT 모델과 파인튜닝 모델이 최대 12시간 동안 제대로 응답하지 못했다OpenAI · 2022

    원인 운영 실수