Incident Library

조직

Wikimedia Foundation

Wikimedia Foundation · wikimedia-foundation

12건 · 2019년부터 2026년

원인 설정 변경5건용량 한계2건의존성 장애1건배포 결함1건하드웨어 고장1건소프트웨어 결함1건업그레이드로 깨진 호환성1건
구성 요소 데이터베이스4건Helm3건BGP 라우팅2건인메모리 캐시2건데이터베이스 복제2건Elasticsearch 와 OpenSearch2건백본망1건Calico1건CDN 과 엣지 네트워크1건cert-manager1건CI 시스템1건구성 관리 도구1건컨피그맵과 시크릿1건etcd1건모델 추론 서버1건Istio1건잡과 크론잡1건쿠버네티스 API 서버1건
기여 요인 미검증 가정4건런북 부재4건늦게 드러난 변경3건수동 조치 악화3건초기 신호 무시2건데워진 캐시에 기댄 구조2건잡음에 묻힌 신호1건미검증 백업1건모니터링 사각지대1건한계 경보 부재1건설정 테스트 부재1건온콜 호출 미전달1건롤백 무효1건단일 장애점1건자동 테스트 공백1건
증상 오류율 상승6건지연 시간 증가4건컨트롤 플레인 지연2건네트워크 도달 불가2건복제 지연2건서비스 중단2건TLS 인증서 오류2건쓰기 거부2건컨트롤 플레인 무응답1건컨테이너 재시작 반복1건데이터 유실1건데이터베이스 과부하1건로그 폭증1건모니터링 중단1건노드 디스크 가득 참1건프로브 실패1건요청 오라우팅1건부하 불균형1건

사례

  1. IL-0236 머신러닝 모델 서빙 클러스터 두 곳에서 투명 프록시로 MediaWiki API 를 부르던 모델 서버들이 약 24시간 5XX 를 냈다Wikimedia Foundation · 2026

    원인 업그레이드로 깨진 호환성

  2. IL-0299 Wikimedia CirrusSearch 의 OpenSearch 클러스터에서 인덱스 약 60개가 red 상태가 되어 쓸 수 없었다Wikimedia Foundation · 2025

    원인 설정 변경

  3. IL-0298 Wikimedia sessionstore 의 Cassandra 노드가 디스크가 가득 차 잇따라 죽고 쿼럼을 잃어 편집이 실패했다Wikimedia Foundation · 2025

    원인 용량 한계

  4. IL-0324 External Storage 데이터베이스 클러스터에 과부하가 걸려 mw-api-int, mw-parsoid, mw-jobrunner 의 지연과 데이터베이스 오류가 늘었다Wikimedia Foundation · 2025

    원인 배포 결함

  5. IL-0232 codfw WikiKube 클러스터에서 Calico 구성 요소가 자원 한도에 걸려 calico-node 파드가 하나씩 죽고 노드가 차례로 빠지면서 MediaWiki 지연과 오류가 났다Wikimedia Foundation · 2024

    원인 용량 한계

  6. IL-0392 데이터센터 전환을 앞두고 원형 복제를 설정하던 중 Wikimedia x1 섹션의 eqiad·codfw 사이 MariaDB 복제가 6분 멈췄다Wikimedia Foundation · 2024

    원인 설정 변경

  7. IL-0216 데이터센터 전환 직후 CirrusSearch Elasticsearch 지연이 치솟아 위키 검색이 일부 사용자에게 늦거나 안 됐다Wikimedia Foundation · 2023

    원인 소프트웨어 결함

  8. IL-0459 쿠버네티스 위 MediaWiki 가 TLS 종료에 엉뚱한 인증서를 써서 약 30분 동안 트래픽 1% 가 오류를 받았다Wikimedia Foundation · 2023

    원인 설정 변경

  9. IL-0267 싱가포르 캐시 거점 eqsin 의 전송 회선 두 개가 함께 끊겨 BGP 가 내려가고 eqsin 의 호스트에 닿을 수 없게 됐다Wikimedia Foundation · 2023

    원인 의존성 장애

  10. IL-0266 eqiad 코어 라우터 두 대 사이에 라우팅 루프가 생겨 eqiad 가 다른 데이터센터의 공인 IP 주소에 닿지 못했다Wikimedia Foundation · 2021

    원인 설정 변경

  11. IL-0323 s3 주 데이터베이스 마스터 db1075 가 완전히 멈춰 s3 위키 전체가 읽기 전용이 됐다Wikimedia Foundation · 2019

    원인 하드웨어 고장

  12. IL-0458 Toolforge 쿠버네티스 API 서버가 재시작 뒤 올라오지 못해 몇 시간 동안 클러스터 전체가 멈췄다Wikimedia Foundation · 2019

    원인 설정 변경