Incident Library

증상

잠금 경합과 교착

Lock contention or deadlock · lock-contention

21건 · 2015년부터 2026년

원인 배포 결함7건소프트웨어 결함5건용량 한계3건클라우드 제공자 장애2건설정 변경1건운영 실수1건unknown1건업그레이드로 깨진 호환성1건
구성 요소 데이터베이스20건스키마 마이그레이션5건데이터베이스 프록시와 커넥션 풀러2건PostgreSQL vacuum1건클라우드 블록 스토리지1건인메모리 캐시1건데이터베이스 장애 조치 관리자1건라이브니스·레디니스 프로브1건공유 네트워크 파일 시스템1건
기여 요인 수동 조치 악화4건미검증 가정3건스테이징 불일치3건기본 설정 방치2건늦게 드러난 변경2건디버그 접근 제한2건자동화 증폭1건초기 신호 무시1건비효율적인 쿼리1건모니터링 사각지대1건한계 경보 부재1건용량 계획 부재1건설정 테스트 부재1건런북 부재1건여유 용량 부재1건단계적 배포 부재1건장애 중첩1건의존성에 묶인 헬스 체크1건재시도 폭주1건롤백 무효1건리뷰 누락1건단일 장애점1건데워진 캐시에 기댄 구조1건
조직 Railway2건Storj2건37signals1건Autumn1건Clerk1건CrowdWorks1건Daily1건Figma1건freee1건GitHub1건GitLab1건GoCardless1건Honeycomb1건incident.io1건LINE1건MIT Open Learning1건Open Collective1건Replicate1건ZOZO1건

사례

  1. IL-0570 안 쓰는 테이블을 지우는 마이그레이션 직후 MySQL 쿼리가 막혀 crowdworks.jp에 1분쯤 접속하기 어려웠다CrowdWorks · 2026

    원인 배포 결함

  2. IL-0322 GitLab.com 의 모든 주요 서비스에서 HTTP 503 오류가 두 차례 쏟아졌다가 저절로 멎었다GitLab · 2026 · sev1

    원인 클라우드 제공자 장애

  3. IL-0510 MIT Learn 운영 RDS PostgreSQL 의 저장 공간이 임시 파일로 가득 차 learn.mit.edu 가 세 시간 동안 503 과 504 를 냈다MIT Open Learning · 2026

    원인 배포 결함

  4. IL-0487 Postgres 테이블 두 개의 콜레이션을 바꾼 뒤 데이터베이스 CPU가 치솟아 Autumn API 요청의 약 10%가 실패했다Autumn · 2026

    원인 설정 변경

  5. IL-0318 Google Cloud SQL 데이터베이스의 디스크 지연이 치솟아 Clerk API 가 429 를 내며 전체 장애가 났다Clerk · 2026

    원인 클라우드 제공자 장애

  6. IL-0369 데이터베이스 마이그레이션이 잠금에 막히는 동안 Railway 백엔드 복제본이 헬스 체크에 실패해 대시보드와 API 가 멈췄다Railway · 2025

    원인 배포 결함

  7. IL-0315 약 10억 행 테이블에 인덱스를 만드는 스키마 변경이 테이블 전체를 잠가 Railway 의 백엔드 API 가 멈췄다Railway · 2025

    원인 배포 결함

  8. IL-0436 Aurora MySQL 에서 INSERT 가 supremum 락에 막혀 커넥션이 고갈되고 freee 웹 서비스 전체가 다운되었다freee · 2025

    원인 소프트웨어 결함

  9. IL-0557 같은 객체에 몰린 동시 업로드가 데이터베이스 트랜잭션 경합을 일으켜 Storj US1 satellite 의 업로드와 다운로드 요청이 실패했다Storj · 2025

    원인 용량 한계

  10. IL-0329 Postgres 17 업그레이드 뒤 다시 켠 PGAudit 가 마이그레이션 중 락을 쥔 채 멈춰, 서비스 전반이 느려지고 데이터베이스가 2분 동안 내려갔다incident.io · 2025

    원인 소프트웨어 결함

  11. IL-0556 수동 데이터베이스 유지 보수 중 열어 둔 트랜잭션이 잠금을 쥐어 Storj US1 satellite 의 업로드와 다운로드가 실패했다Storj · 2024

    원인 운영 실수

  12. IL-0217 스키마 캐시가 데워지지 않아 주 MySQL 데이터베이스가 내부 교착에 빠지고 Honeycomb 전체가 68분 동안 멈췄다Honeycomb · 2023

    원인 소프트웨어 결함

  13. IL-0483 PostgreSQL 커넥션이 바닥나 Replicate 웹사이트와 API가 두 시간 가까이 느린 응답과 HTTP 500을 냈다Replicate · 2023

    원인 배포 결함

  14. IL-0524 인덱스를 다시 만드는 마이그레이션이 운영에서 Transactions 테이블을 잠가 Open Collective 서비스가 느려짐Open Collective · 2023

    원인 배포 결함

  15. IL-0314 주말에 업그레이드한 Aurora MySQL 데이터베이스에서 교착이 쌓여 통화 서버가 재시작되고 통화가 다른 서버로 옮겨졌다Daily · 2023

    원인 업그레이드로 깨진 호환성

  16. IL-0301 Basecamp 3 의 주 데이터베이스가 정시 부하에 락 경합으로 30초 만에 완전히 막혔다37signals · 2022

    원인 용량 한계

  17. IL-0385 큰 MySQL 테이블의 스키마 마이그레이션 마지막 단계에서 읽기 복제본 다수가 semaphore deadlock 에 걸려 GitHub 핵심 서비스가 2시간 50분 저하됐다GitHub · 2021

    원인 소프트웨어 결함

  18. IL-0441 세일 이벤트 때 SQL Server 의 초당 배치 실행 수가 임계값을 넘으면 쿼리가 밀려 애플리케이션 타임아웃 오류가 쏟아졌다ZOZO · 2021

    원인 unknown

  19. IL-0486 Figma의 PostgreSQL 데이터베이스에서 쓰기 IOPS와 락 경합이 치솟아 서비스가 하루 동안 여러 번 내려갔다Figma · 2020

    원인 소프트웨어 결함

  20. IL-0457 로그 수집 Hadoop 클러스터의 HA HDFS NameNode 가 오전 9시쯤 가끔씩 failover 됐다LINE · 2019

    원인 용량 한계

  21. IL-0391 외래 키 제약을 다시 만드는 Postgres 마이그레이션이 잠금 대기열에 걸려 GoCardless API 가 15초쯤 멈췄다GoCardless · 2015

    원인 배포 결함

그래프에서 보기