IL-0117 OpenAI · 2024-08-16networking
2024년 8월 16일 태평양 시간 오전 11시 38분부터 오후 1시 16분까지 OpenAI 기본 API 의 안정성이 크게 떨어졌다. ChatGPT 대화 성공률이 낮아졌고 로그인과 계정 생성이 영향을 받았다. 장애는 44분과 15분, 두 번에 걸쳐 일어났다.
원인은 여러 요인이 겹친 것이었다. 예정된 유지 보수와 사용자 요청을 받는 클러스터의 인그레스 업그레이드가 함께 진행되면서 네트워크 컨트롤 플레인에 회귀가 생겼다. 회귀는 전에는 정상이던 동작이 새 변경으로 깨진 것을 말한다. 이 회귀 때문에 데이터 플레인이 잠깐 멈췄다. 연결이 잠깐 끊긴 탓에 일부 서비스가 비정상 상태가 되었고 자동으로 재시작됐다.
재시작은 예상보다 훨씬 오래 걸렸다. 다시 뜨는 서비스들이 무거운 초기화 쿼리로 백엔드 저장소에 과부하를 주었기 때문이다. 백엔드 저장소가 밀린 요청을 따라잡고 회복하는 데 시간이 더 필요했다.
2024년 8월 16일 태평양 시간 오전 11시 38분부터 오후 1시 16분까지 OpenAI 기본 API 의 안정성이 크게 떨어졌다. ChatGPT 대화의 성공률이 낮아졌고 로그인과 계정 생성도 영향을 받았다. 장애는 두 번에 걸쳐 일어났고, 각각 44분과 15분 동안 이어졌다.
사용자 요청을 받는 클러스터의 네트워크 연결이 잠깐 끊긴 뒤 일부 서비스가 비정상 상태가 되었고 자동으로 재시작됐다. 재시작은 예상보다 훨씬 오래 걸렸다. 다시 뜨는 서비스들이 무거운 초기화 쿼리를 백엔드 저장소에 보냈고, 저장소가 이를 버티지 못했다.
–
–
짧은 연결 끊김이 긴 장애로 번진 것은 복구 자체가 무거웠기 때문이었다. 다시 뜨는 서비스들이 무거운 초기화 쿼리로 백엔드 저장소 하나에 과부하를 주었다. 시작 경로에서 비용이 큰 쿼리를 빼면 복구가 짧아진다. 인프라 변경을 단계적으로 내보내고 관찰 기간을 길게 두면 회귀가 잡히기 전에 영향을 받는 시스템 수를 줄일 수 있다.
IL-0098 ingress-nginx 에서 nginx-ingress 로 옮긴 뒤 같은 호스트를 나눠 쓰는 인그레스들의 동작이 바뀌어 cert-manager 가 새 TLS 인증서를 받지 못했다.2i2c · 2026같은 원인 · 공통 인그레스 컨트롤러
IL-0092 ingress-nginx 를 1.12.0 에서 1.14.3 으로 올리자 새 ModSecurity 와 OWASP Core Rule Set 이 정상 요청을 오탐으로 막아 HMPPS 사용자가 인증하지 못했다.UK Ministry of Justice · 2026같은 원인 · 공통 인그레스 컨트롤러
IL-0203 클러스터 시스템 업데이트 뒤 AWS Load Balancer Controller 가 실패해 새 파드가 ALB 에 등록되지 않았고, Honeycomb EU1 의 수집과 UI 가 11분 동안 멈췄다Honeycomb · 2024같은 원인 · 공통 인그레스 컨트롤러
IL-0090 ModSec 인그레스 컨트롤러 모듈을 v3.33.0 으로 올린 뒤 검증 웹훅 호출이 x509 인증서 오류로 실패해, 모든 인그레스 생성과 변경이 막히고 사용자 애플리케이션 배포가 멈췄다.UK Ministry of Justice · 2021같은 원인 · 공통 인그레스 컨트롤러
https://incidentlib-mcp.benchlet.com/mcpAPI 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.