Incident Library

IL-0385 GitHub · 2021-11-27database

큰 MySQL 테이블의 스키마 마이그레이션 마지막 단계에서 읽기 복제본 다수가 semaphore deadlock 에 걸려 GitHub 핵심 서비스가 2시간 50분 저하됐다

GitHub 은 스키마 마이그레이션을 자주 하고, 한 번에 몇 주가 걸리기도 한다. 마이그레이션의 마지막 단계는 갱신한 테이블을 rename 으로 제자리에 옮기는 일이다. 2021년 11월 27일 20:40 UTC 에 큰 MySQL 테이블의 마이그레이션이 이 단계에 이르자 읽기 복제본 상당수가 semaphore deadlock 에 걸렸다. GitHub 은 이것을 처음 겪는 장애 양상이라고 했다. GitHub 의 MySQL 클러스터는 쓰기를 받는 primary 노드 하나, 운영 트래픽을 받는 읽기 복제본 여러 대, 백업과 분석용 내부 읽기를 받는 복제본 몇 대로 이루어진다. deadlock 에 걸린 복제본은 crash-recovery 상태로 들어갔고, 정상 복제본에 부하가 몰리면서 연쇄로 번져 운영 요청을 감당할 활성 읽기 복제본이 모자라게 됐다. 그 결과 GitHub 의 핵심 서비스가 저하됐다.

대응하는 동안 용량을 늘리려고 정상인 내부 복제본을 모두 운영 경로로 올렸지만 충분하지 않았다. 운영 트래픽을 받는 복제본은 잠시 회복했다가 부하로 다시 죽기를 되풀이했다. GitHub 은 사이트 가용성보다 데이터 무결성을 먼저 지키기로 하고, 망가진 복제본에서 운영 트래픽을 미리 빼 테이블 rename 을 끝까지 처리하게 했다. 복제본이 회복하자 운영에 다시 넣어 용량을 되찾았고, 장애는 2시간 50분 만에 끝났다. 쓰기 작업은 내내 정상이었고, GitHub 은 데이터 손상이 없었음을 확인했다.

심각도
–
영향 범위
Core GitHub services were degraded: GitHub Actions, API Requests, Codespaces, Git Operations, Issues, GitHub Packages, GitHub Pages, Pull Requests and Webhooks; write operations stayed healthy
영향 사용자
–
지역
–
감지까지
–
복구까지
2h 50m

증상

2021년 11월 27일 20:40 UTC 부터 GitHub Actions, API 요청, Codespaces, Git 작업, Issues, GitHub Packages, GitHub Pages, Pull Requests, Webhooks 의 가용성이 떨어졌다. 큰 MySQL 테이블의 스키마 마이그레이션이 마지막 rename 단계를 실행하던 때였다.

MySQL 읽기 복제본 상당수가 semaphore deadlock 에 걸린 뒤 crash-recovery 상태로 들어갔다. 이 복제본들이 빠지자 남은 정상 읽기 복제본에 부하가 몰렸다.

부하가 연쇄로 번지면서 운영 요청을 받을 활성 읽기 복제본이 모자라게 됐다. 운영 트래픽을 받는 복제본은 crash-recovery 에서 잠시 살아났다가 부하 때문에 다시 죽기를 되풀이했다. 쓰기 작업은 내내 정상이었다.

처음에는 용량을 늘리려고 정상 상태인 내부용 복제본을 모두 운영 경로로 올렸다. 그래도 완전히 복구되지는 않았다.

증상 잠금 경합과 교착데이터베이스 과부하

원인

원인 소프트웨어 결함

구성 요소 데이터베이스스키마 마이그레이션
기여 요인 여유 용량 부재단계적 배포 부재
촉발
큰 MySQL 테이블의 스키마 마이그레이션이 마지막 단계로 갱신한 테이블을 제자리로 옮기는 rename 을 실행했다. 이때 읽기 복제본 상당수가 semaphore deadlock 에 걸렸다.

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: 데이터베이스, 스키마 마이그레이션. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.