사례1건

1건 중 1~1번째

1. IL-0580 ConcourseCI 의 배포가 Amazon ECR 이름 해석 타임아웃으로 어떤 날에만 실패했다

   Recruit2019

   증상

   배포 버튼을 누르자 ConcourseCI 위에서 도는 Docker 가 ECR 에서 이미지를 pull 하다가 실패했다. 이 서비스는 출시 뒤 이런 오류가 한 번도 없었고, 최근에 구성을 바꾼 일도 없었다.

   DNS 조회 실패이미지 풀 실패

   촉발

   ECR 엔드포인트인 ELB 의 유닛이 늘어 DNS 응답에 담긴 A 레코드가 4개 이상이 된 날에 DNS 응답이 커졌다.

   원인

   소프트웨어 결함

   구성 요소

   CI 시스템컨테이너 레지스트리와 자격 증명클라이언트 쪽 DNS 리졸버와 캐시

   기여 요인

   미패치 알려진 버그

   감지

   엔지니어가 서비스를 배포하려고 배포 버튼을 눌렀을 때 CI 의 Docker 가 ECR 이름 해석 타임아웃 오류를 냈다.

   조치

   • CI worker 의 resolv.conf 에서 nameserver 를 다른 DNS 캐시 서버로 바꿔 배포가 다시 되게 했다.

   후속 조치

   • Concourse 의 DNS Proxy 가 응답을 압축하지 않는 버그를 이슈로 설명하고, 그 이슈에 연결한 PR 을 Concourse 에 보냈다.

   사례 보기

원인별1