Incident Library

IL-0471 GitHub · 2026-08-06kubernetes

GitHub Actions 워크플로 실행이 대량으로 실패하거나 큐에서 오래 기다렸다

2026-08-06 15:05 UTC 부터 2026-08-07 00:14 UTC 까지 GitHub Actions 의 가용성이 떨어졌다. 이벤트를 처리하고 Actions 작업을 만드는 내부 서비스에 일상 배포를 하자 이미 있던 용량과 동시성의 약점이 드러났다. 배포로 파드가 교체되는 동안 남은 용량이 포화돼 서비스가 죽었다. 영향은 여러 클러스터와 하위 서비스로 줄줄이 번졌다. GitHub 는 용량을 늘리고, 웹훅으로 들어오는 작업을 줄이고, 밀린 이벤트를 처리할 용량을 늘렸다. 처음 무너진 서비스들은 17:00 에 회복했다.

그사이 러너에 작업을 배정하는 시스템들에 일이 밀렸다. 작업 배정을 맡은 서비스 하나에 숨어 있던 버그 때문에 러너가 더는 유효하지 않은 작업을 배정받고 그 작업을 계속 재시도하느라 유효한 작업을 가져가지 못했다. 러너가 유효하지 않은 작업을 되풀이해 가져가지 못하게 하는 변경을 배포하자 밀린 큐가 빠지고 Actions 가 정상으로 돌아왔다. 장애 중에 배포한 완화 조치 하나가 뜻하지 않게 Actions Runner Controller 러너에 영향을 줘, 러너 일부가 손으로 복구할 때까지 오프라인으로 남았다. GitHub 는 그 변경을 롤백했다. 사용자에게는 idle 상태에 멈춘 러너 파드를 kubectl 로 지우거나 Actions Runner Controller 애플리케이션을 다시 배포하면 Actions Runner Controller 가 새 러너를 만든다고 안내했다. 장애 중에 만들어진 일부 작업은 재시도도 취소도 되지 않는 상태로 남았다.

심각도
–
영향 범위
GitHub Actions workflow runs on GitHub-hosted and self-hosted runners: at the peak 71% had infrastructure failures and 75% of the rest were delayed by more than 5 minutes; GitHub Pages, Copilot code review, Copilot coding agent and GitHub Enterprise Importer migrations were also affected
영향 사용자
Customers using GitHub-hosted and self-hosted runners
지역
–
감지까지
–
복구까지
9h 9m

증상

2026-08-06 15:05 UTC 부터 GitHub Actions 워크플로 실행이 시작하지 못하거나 도중에 실패했고, 일부 Actions REST API 요청이 오류를 냈다. 일부 고객은 워크플로에서 예상하지 못한 rate limiting 을 겪었다.

가장 심할 때 워크플로 실행의 71% 가 인프라 오류로 실패했고, 나머지 실행의 75% 는 5분 넘게 늦어졌다. GitHub 호스트 러너와 자체 호스트 러너가 모두 영향을 받았다. 큐에 들어간 작업의 성공률은 한때 30~40% 까지 떨어졌다.

영향은 다른 서비스로 번졌다. 15:53 UTC 에 GitHub Pages 의 성능이 떨어졌고, Copilot code review, Copilot coding agent, GitHub Enterprise Importer 마이그레이션도 실패하거나 늦어졌다. 웹훅 전달이 늦어졌고, 자체 호스트 러너를 등록할 때 오류나 rate limiting 이 났다.

복구하려고 웹훅 트리거를 줄이는 동안에는 웹훅을 약 15% 만 처리했다. 그래서 많은 push 와 pull request 이벤트가 워크플로를 시작하지 못했다. 이때 처리되지 않은 이벤트는 자동으로 다시 처리할 수 없었다.

용량 문제가 풀린 뒤에도 러너가 더는 유효하지 않은 작업을 배정받고 그 작업을 계속 재시도하느라 유효한 작업을 가져가지 못했다. 장애가 끝난 뒤에는 일부 Actions Runner Controller 러너 파드가 idle 상태에 멈춰 있었다. 장애 중에 만들어진 일부 작업은 재시도도 취소도 되지 않았다.

증상 오류율 상승지연 시간 증가

원인

원인 용량 한계

구성 요소 CI 시스템
기여 요인 여유 용량 부재과도한 영향 범위수동 조치 악화
촉발
이벤트를 처리하고 Actions 작업을 만드는 Actions 내부 서비스에 일상 배포를 했다. 배포로 파드가 교체되는 동안 남은 용량이 포화됐다.

감지

–

조치

후속 조치

교훈

–

출처

참고 문서

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: CI 시스템. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.