사례1건

1건 중 1~1번째

1. IL-0265 HAProxy 패키지 업데이트 뒤 Open Build Service 참조 서버가 약 2시간 동안 내려갔다

   Open Build Service2023

   증상

   업데이트 직후 Open Build Service 참조 서버가 내려갔다. 애플리케이션은 점검 안내 메시지나 HTTP 503 Service Unavailable 오류로 응답했고, 아무도 API 와 웹 화면을 쓸 수 없었다. 팀도 사용자도 이를 알아챘고, 사용자들은 여러 채널로 알려 왔다.

   서비스 중단

   촉발

   참조 서버에서 zypper 업데이트로 haproxy 패키지를 업데이트했다.

   원인

   업그레이드로 깨진 호환성

   구성 요소

   HAProxy

   기여 요인

   장애 중첩모니터링 사각지대코드로 관리되지 않는 설정

   감지

   팀과 사용자 모두 애플리케이션이 내려간 것을 알아챘다. 사용자들이 여러 소통 채널로 알려 왔다. 문제는 업데이트 직후에 드러났다.

   조치

   • HAProxy 설정 파일을 모두 고쳤다.
   • 다른 서버의 Apache 설정에 남아 있던 점검 모드 플래그를 지웠다.
   • 서버를 재시작했고, 12시 20분 UTC 에 OBS 가 다시 올라왔다.

   후속 조치

   • 점검 모드 설정 블록이 도움이 되는지 문제가 되는지 논의한다.
   • 보조 프록시들의 SSL 인증서 동기화를 다시 살핀다.

   교훈

   "zypper up" 을 실행하면 무엇이 바뀌는지 더 잘 따져 봐야 한다. 업그레이드 중에는 주의가 필요한 것이 있기 때문이다. 보조 서버와 그 설정도 지켜봐야 한다. 평소에는 Salt 로 모든 것을 배포하지만 이번에는 보조 서버의 인증서를 놓쳤다. Apache 를 통해 Passenger 를 시작하면, Apache 에 문제가 있을 때 Passenger 프로세스가 뜨지 않는다. 그러므로 데몬이 문제없이 떠 있어도 Apache 설정 전체를 두 번 확인해야 한다. 긴 휴가 뒤에는 예상하지 못한 일이 생길 것이라고 생각해야 한다.

   사례 보기

원인별1