사례1건

1건 중 1~1번째

1. IL-0328 배포 뒤 CircleCI 의 모든 executor 에서 작업이 "not running" 상태로 멈췄다

   CircleCI2021

   증상

   2021-11-08 18:50 UTC 배포 직후 오류와 알림이 바로 들어왔고, 모든 executor 에서 고객 작업이 "not running" 상태로 막혔다.

   서비스 중단지연 시간 증가노드 증설 실패클라우드 API 호출 한도 소진

   촉발

   18:50 UTC 에 분배 서비스의 PostgreSQL 데이터베이스에서 필드 타입을 바꾸는 배포를 내보냈다. 이 스키마 변경은 하위 호환되지 않았다.

   원인

   배포 결함

   구성 요소

   데이터베이스노드 풀

   기여 요인

   롤백 무효과도한 영향 범위자동 테스트 공백

   감지

   18:50 UTC 배포 직후 분배 실패와 관련된 오류와 알림이 바로 보였다.

   조치

   • 오류와 알림을 보고 곧바로 변경을 롤백했다. 롤백 뒤에는 두 배포 사이에 쓰인 데이터를 읽지 못해 분배가 계속 실패했다.
   • 분배 시스템이 그 필드를 무시하게 하는 수정을 빠르게 만들고 빌드해 직접 배포했다.
   • 몰려들 작업에 대비해 주 컴퓨트 클러스터를 직접 늘렸다. 이 수동 확장은 CircleCI 장애 대응 절차의 표준 단계다.
   • 작업 큐가 줄어 정상 처리가 이어지는 것을 잠시 지켜본 뒤 장애를 해결로 처리했다.

   후속 조치

   • 같은 장애가 다시 나지 않도록 테스트 전략의 빈틈을 찾아 고친다.
   • 비슷한 배포가 시스템의 모든 작업에 영향을 주지 않도록, 분배 서비스가 예상하지 못한 데이터를 만났을 때의 동작을 바꾼다.
   • 예상하지 못한 장애가 났을 때 더 빨리 복구할 수 있게 한다.

   사례 보기

원인별1