사례2건

2건 중 1~2번째

1. IL-0580 ConcourseCI 의 배포가 Amazon ECR 이름 해석 타임아웃으로 어떤 날에만 실패했다

   Recruit2019

   증상

   배포 버튼을 누르자 ConcourseCI 위에서 도는 Docker 가 ECR 에서 이미지를 pull 하다가 실패했다. 이 서비스는 출시 뒤 이런 오류가 한 번도 없었고, 최근에 구성을 바꾼 일도 없었다.

   DNS 조회 실패이미지 풀 실패

   촉발

   ECR 엔드포인트인 ELB 의 유닛이 늘어 DNS 응답에 담긴 A 레코드가 4개 이상이 된 날에 DNS 응답이 커졌다.

   원인

   소프트웨어 결함

   구성 요소

   CI 시스템컨테이너 레지스트리와 자격 증명클라이언트 쪽 DNS 리졸버와 캐시

   기여 요인

   미패치 알려진 버그

   감지

   엔지니어가 서비스를 배포하려고 배포 버튼을 눌렀을 때 CI 의 Docker 가 ECR 이름 해석 타임아웃 오류를 냈다.

   조치

   • CI worker 의 resolv.conf 에서 nameserver 를 다른 DNS 캐시 서버로 바꿔 배포가 다시 되게 했다.

   후속 조치

   • Concourse 의 DNS Proxy 가 응답을 압축하지 않는 버그를 이슈로 설명하고, 그 이슈에 연결한 PR 을 Concourse 에 보냈다.

   사례 보기
2. IL-0454 배민 카드사 할인 이벤트가 시작되자 빌링 시스템이 MariaDB 에 새 커넥션을 맺지 못해 결제 요청 일부가 실패했다

   Woowa Brothers2016

   증상

   2016년 12월 8일 오후 6시 카드사 할인 이벤트가 시작되고 얼마 지나지 않아, 빌링 시스템의 Pinpoint 그래프에 에러를 뜻하는 빨간색이 보이기 시작했다. 약 1분 동안 14,000개의 요청 가운데 140개가 에러로 끝났다.

   오류율 상승간헐적 연결 실패

   촉발

   오후 6시에 선착순 1,000명에게 3,000원을 할인해 주는 카드사 이벤트가 시작되면서 약 1분 동안 빌링 시스템에 요청 14,000개가 들어왔다.

   원인

   소프트웨어 결함

   구성 요소

   데이터베이스클라이언트 쪽 DNS 리졸버와 캐시

   기여 요인

   미패치 알려진 버그

   감지

   할인 이벤트가 열리는 오후 6시에 NewRelic 과 Pinpoint 로 지켜보던 중, Pinpoint 그래프에 에러를 뜻하는 빨간색이 보이는 것을 알아챘다.

   조치

   • gradle 설정을 바꿔 mariadb-connector-j 를 1.4.6 에서 최신 1.5.5 로 올렸다.

   교훈

   에러가 시간이 지나 저절로 멈췄더라도 대수롭지 않게 넘기면 큰 장애로 이어질 수 있다. 라이브러리는 최신 버전을 쓰는 쪽이 낫다. 드라이버를 올리지 않아도 이 문제를 피하는 방법이 있다. hostname 을 localhost 로 두거나, /etc/hosts 에 IP 주소와 hostname 을 등록해 DNS 를 거치지 않고 바로 IP 주소를 얻게 하면 된다.

   사례 보기

원인별1