사례1건

1건 중 1~1번째

1. IL-0527 OpenStreetMap.org 의 복제 diff 생성이 invalid memory alloc request size 오류로 16시간 멈춤

   OpenStreetMap Foundation2025

   증상

   2025년 6월 25일 21:33 UTC 부터 OpenStreetMap.org 의 minutely, hourly, daily 복제 diff 가 새로 만들어지지 않았다. 21:40 UTC 에 Alertmanager 가 운영 팀에 "minutely replication feed delayed - 6m 2s" 라는 첫 알림을 보냈다.

   복제 지연

   원인

   소프트웨어 결함

   구성 요소

   데이터베이스 복제데이터베이스

   기여 요인

   온콜 호출 미전달

   감지

   Alertmanager 가 이 일과 관련된 알림을 여러 번 보냈고, 첫 알림은 21:40 UTC 의 "minutely replication feed delayed - 6m 2s" 였다. 호출기나 SMS 로 가는 알림은 울리지 않았다.

   조치

   • 6월 26일 06:08 UTC 에 osmdbt 타이머를 멈췄다.
   • 12:56 UTC 에 OpenStreetMap.org 를 읽기 전용 점검에 들여 지도 편집을 막았다.
   • osmdbt 의 fakelog 도구를 손으로 써서 실패를 일으킨 PostgreSQL 복제 상태를 건너뛰었고, 13:13:47 부터 13:17:04 UTC 까지 replication/minute/006/658/640 부터 673 까지 diff 를 만들었다.
   • 13:21:10 UTC 에 osmdbt 타이머를 다시 켜 minutely diff 생성을 되살렸다.
   • 13:22 UTC 에 약 25분 동안의 읽기 전용 점검을 끝냈다.

   후속 조치

   • PostgreSQL 을 17.x 로 업그레이드한다.
   • PostgreSQL 개발자에게 이 문제를 이슈로 올린다.

   교훈

   osmdbt 개발자와의 소통이 우회 계획을 세우는 데 결정적이었다. 운영 팀은 osmdbt 를 충분히 이해하지 못하고 있었다.

   사례 보기

원인별1