사례2건

2건 중 1~2번째

1. IL-0356 Railway 에 호스팅된 모든 도메인으로 오는 새 연결이 5분 동안 HTTP 404 를 받았다

   Railway2026

   증상

   2026-09-30 07:35 UTC 무렵부터 Railway 에 호스팅된 모든 도메인이 새 연결에 HTTP 404 not found 를 냈다. 경로 조회가 실패하기 시작하자 곧바로 내부 알림이 울려 당직 대응팀이 소집됐다.

   서비스 중단DNS 조회 실패

   촉발

   07:29 에 병합된 라우팅 제어 플레인 변경을 배포할 때, 파이프라인 설정의 오류로 스키마 변경 파이프라인과 새 라우팅 서비스 배포 파이프라인이 동시에 돌았다. 두 파이프라인이 경쟁하다가 새 라우팅 서비스가 스키마 변경보다 먼저 모든 리전에 올라왔다.

   원인

   배포 결함

   구성 요소

   네트워크 컨트롤 플레인데이터베이스CI 시스템

   기여 요인

   안전하지 않은 실패 동작단계적 배포 부재과도한 영향 범위

   감지

   경로 조회가 실패하기 시작하자 곧바로 내부 알림이 울려 당직 대응팀이 소집됐다.

   조치

   • CI 시스템이 스키마 변경을 적용했고, 라우팅 서비스가 조회를 재시도하면서 도메인 라우팅이 곧바로 정상으로 돌아왔다.

   후속 조치

   • 배포 파이프라인을 하나로 합쳐 마이그레이션 롤아웃이 차례대로 돌게 하고, 병합 전에 배포 순서와 피해 범위를 검사한다.
   • 블루/그린 롤아웃에서 바이너리마다 작성 당시의 스키마 버전을 검증하고, 맞는 데이터베이스 스키마가 갖춰질 때까지 서비스가 운영에 올라가지 않게 한다.
   • 새 구성 요소인 분산 제어 플레인에 리전별 샤드 단위 롤아웃을 더해 앞으로는 피해를 샤드 안에 가둔다.

   사례 보기
2. IL-0580 ConcourseCI 의 배포가 Amazon ECR 이름 해석 타임아웃으로 어떤 날에만 실패했다

   Recruit2019

   증상

   배포 버튼을 누르자 ConcourseCI 위에서 도는 Docker 가 ECR 에서 이미지를 pull 하다가 실패했다. 이 서비스는 출시 뒤 이런 오류가 한 번도 없었고, 최근에 구성을 바꾼 일도 없었다.

   DNS 조회 실패이미지 풀 실패

   촉발

   ECR 엔드포인트인 ELB 의 유닛이 늘어 DNS 응답에 담긴 A 레코드가 4개 이상이 된 날에 DNS 응답이 커졌다.

   원인

   소프트웨어 결함

   구성 요소

   CI 시스템컨테이너 레지스트리와 자격 증명클라이언트 쪽 DNS 리졸버와 캐시

   기여 요인

   미패치 알려진 버그

   감지

   엔지니어가 서비스를 배포하려고 배포 버튼을 눌렀을 때 CI 의 Docker 가 ECR 이름 해석 타임아웃 오류를 냈다.

   조치

   • CI worker 의 resolv.conf 에서 nameserver 를 다른 DNS 캐시 서버로 바꿔 배포가 다시 되게 했다.

   후속 조치

   • Concourse 의 DNS Proxy 가 응답을 압축하지 않는 버그를 이슈로 설명하고, 그 이슈에 연결한 PR 을 Concourse 에 보냈다.

   사례 보기

원인별2