IL-0465 IONOS Cloud · 2026-03-04kubernetes
IONOS Container Registry 에서 이미지 푸시와 풀이 504 Gateway Timeout 으로 실패했다
2026-03-04 에 IONOS Container Registry 에서 이미지 푸시와 풀이 504 Gateway Timeout 으로 실패해 고객의 배포가 막히고 늦어졌다. 레지스트리는 IONOS 관리형 쿠버네티스인 MK8s 위에서 돈다. 마이그레이션 중 일시적인 용량 제약 때문에 중요한 컨트롤 플레인 구성 요소 둘이 안티 어피니티 규칙이 있는데도 서로 다른 프록시로 나뉘지 않고 같은 프록시 인스턴스에 놓였다. 레지스트리에서 쿠버네티스 API 로 가는 트래픽은 모두 이 프록시를 지난다. 프록시가 동시 연결 한도에 닿아 새 연결을 받지 않자 푸시와 풀이 504 로 실패했다. 09:23 UTC 에 조사를 시작했고 10:23 UTC 에 밑단 쿠버네티스 클러스터의 문제로 찾았다. 12:22 UTC 에 쿠버네티스 팀이 컨트롤 플레인 구성 요소 하나의 버전을 롤백하는 완화책을 배포했고, 더 문제가 보이지 않자 16:39 UTC 에 해결로 닫았다. 사후 보고에 따르면 프록시 용량을 더하고 영향받은 컨트롤 플레인 구성 요소를 서로 다른 프록시 인스턴스로 옮겨 부하를 고르게 하자 504 오류가 끝났다.
- 심각도
- –
- 영향 범위
- Image pushes and pulls on the IONOS Container Registry failed with 504 errors, blocking and delaying customer deployments
- 영향 사용자
- IONOS Container Registry customers
- 지역
- –
- 감지까지
- –
- 복구까지
- –
증상
2026-03-04 에 IONOS Container Registry 고객이 컨테이너 이미지를 푸시하거나 풀할 때 504 Gateway Timeout 오류를 받았다. 레지스트리에 기대는 배포가 막혔다. 상태 페이지에는 09:23 UTC 에 레지스트리의 오류 수가 늘었고 고객이 이미지를 풀하지 못할 수 있다고 처음 올라왔다.
10:23 UTC 에 Container Registry 팀은 이미지 일부를 내주는 밑단 쿠버네티스 클러스터의 문제로 좁혔다.
원인
- 촉발
- 마이그레이션 중 일시적인 용량 제약 때문에 중요한 컨트롤 플레인 구성 요소 둘이 같은 프록시 인스턴스에 놓였다. 직접적인 계기는 그 프록시가 동시 연결 한도에 닿아 새 연결을 받지 않은 것이었다.
감지
–
조치
- 12:22 UTC 에 쿠버네티스 팀이 쿠버네티스 컨트롤 플레인 구성 요소 하나의 버전을 롤백하는 완화책을 배포했다.
- 프록시 용량을 더 마련했다.
- 영향받은 컨트롤 플레인 구성 요소를 서로 다른 프록시 인스턴스로 옮겨 부하를 고르게 되돌렸고, 504 오류가 끝났다.
후속 조치
- 노드마다 전용 로컬 프록시를 쓰도록 레지스트리와 쿠버네티스 API 사이의 연결을 다시 설계해 공유 프록시 병목을 없앤다. 운영 적용은 2026년 2분기로 잡았다.
- 프록시 연결 사용률이 한도에 다가가기 전에 경고가 울리도록 알림 기준을 조정한다. 2026년 2분기에 끝낼 예정이다.
- 인프라 클러스터를 더 배포하고 기존 레지스트리를 다시 나눠, 어느 클러스터도 안전한 운영 용량을 넘지 않게 한다. 사용량이 늘면 자동화가 부하를 계속 고르게 맞춘다.
교훈
–
출처
- https://status.ionos.cloud/incidents/43dzb3rj4v9d · official-status · 보관본
관련 사례
같은 원인 · 공통 파드 스케줄링과 배치
같은 원인 · 공통 관리형 쿠버네티스 컨트롤 플레인과 제공자 API
같은 원인 · 공통 파드 스케줄링과 배치
IL-0182트래픽이 급변할 때 수가 모자란 CoreDNS 가 과부하로 지연과 간헐적 네트워크 끊김을 일으켰고, 나중에는 과하게 늘린 CoreDNS 파드가 Karpenter 의 노드 통합을 막았다이언철 · 2024같은 원인 · 공통 파드 스케줄링과 배치
IL-0037imagePullPolicy가 Always인 DaemonSet이 크래시 루프를 돌며 이미지를 계속 받아, NAT 세 대를 같이 쓰던 리전 전체가 이미지 레지스트리에서 429로 막혔다Datadog · 2019같은 원인 · 공통 컨테이너 레지스트리와 자격 증명
IL-0064CPU 를 많이 쓰는 파드가 Google Cloud 노드 하나에 몰려 노드가 커널 패닉으로 죽었고, 다시 배치된 파드가 다음 노드를 또 죽이며 웹사이트와 API 가 멈췄다.Moonlight · 2019같은 원인 · 공통 파드 스케줄링과 배치
같은 원인 · 공통 파드 스케줄링과 배치
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0465
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0465/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.