사례1건

1건 중 1~1번째

1. IL-0454 배민 카드사 할인 이벤트가 시작되자 빌링 시스템이 MariaDB 에 새 커넥션을 맺지 못해 결제 요청 일부가 실패했다

   Woowa Brothers2016

   증상

   2016년 12월 8일 오후 6시 카드사 할인 이벤트가 시작되고 얼마 지나지 않아, 빌링 시스템의 Pinpoint 그래프에 에러를 뜻하는 빨간색이 보이기 시작했다. 약 1분 동안 14,000개의 요청 가운데 140개가 에러로 끝났다.

   오류율 상승간헐적 연결 실패

   촉발

   오후 6시에 선착순 1,000명에게 3,000원을 할인해 주는 카드사 이벤트가 시작되면서 약 1분 동안 빌링 시스템에 요청 14,000개가 들어왔다.

   원인

   소프트웨어 결함

   구성 요소

   데이터베이스클라이언트 쪽 DNS 리졸버와 캐시

   기여 요인

   미패치 알려진 버그

   감지

   할인 이벤트가 열리는 오후 6시에 NewRelic 과 Pinpoint 로 지켜보던 중, Pinpoint 그래프에 에러를 뜻하는 빨간색이 보이는 것을 알아챘다.

   조치

   • gradle 설정을 바꿔 mariadb-connector-j 를 1.4.6 에서 최신 1.5.5 로 올렸다.

   교훈

   에러가 시간이 지나 저절로 멈췄더라도 대수롭지 않게 넘기면 큰 장애로 이어질 수 있다. 라이브러리는 최신 버전을 쓰는 쪽이 낫다. 드라이버를 올리지 않아도 이 문제를 피하는 방법이 있다. hostname 을 localhost 로 두거나, /etc/hosts 에 IP 주소와 hostname 을 등록해 DNS 를 거치지 않고 바로 IP 주소를 얻게 하면 된다.

   사례 보기

원인별1