Incident Library

IL-0257 Canva · 2024-11-12networkingaws

한꺼번에 몰린 요청에 API Gateway 태스크가 모두 OOM 으로 종료돼 canva.com 이 약 50분 동안 열리지 않았다

Canva 편집기는 하루에 여러 번 배포되는 단일 페이지 애플리케이션이다. 배포 때마다 JavaScript 파일을 비롯한 정적 자산 100개 이상이 AWS S3 버킷에 올라가고, 클라이언트는 이 자산을 CDN 인 Cloudflare 의 계층형 캐시로 받는다. 편집기는 자산을 받은 뒤 API Gateway 를 호출해 나머지를 불러온다. API Gateway 는 모든 API 요청의 입구이고 인증, 권한, 속도 제한을 처리한다. API Gateway 는 Netty 로 만들었고, Amazon ECS 에서 자동 확장되는 태스크 묶음으로 돈다.

8:47 AM UTC 에 편집기 새 버전이 배포된 같은 시각, Cloudflare 의 낡은 트래픽 관리 규칙이 사용자 IPv6 트래픽을 사설 백본 대신 애슈번과 싱가포르 사이 공용 전송 경로로 보내고 있었다. 이 규칙 때문에 Cloudflare 의 자동화가 패킷 손실을 피해 돌아가지 못했고, 이 경로의 패킷 손실은 최대 약 66% 였다. 객체 패널을 그리는 JavaScript 파일 하나를 받는 데 20분이 걸렸다. Cloudflare 의 캐시 스트림은 같은 자산을 받으려는 여러 요청을 한 요청으로 묶으므로 270,000건 이상의 요청이 같은 스트림을 기다렸다. 요청이 끝나지 않아 오류가 기록되지 않았고 카나리 시스템도 배포를 멈추지 않았다.

9:07 AM UTC 에 파일 받기가 끝나자 기다리던 기기들이 동시에 객체 패널을 불러 API Gateway 에 평소 최대의 3배인 초당 150만 건이 몰렸다. 앞서 텔레메트리 라이브러리를 바꿀 때 성능 저하가 하나 들어가 있었다. 일부 지표가 값을 기록할 때마다 서드파티 라이브러리의 잠금 안에서 다시 등록되는 문제였다. API Gateway 는 이벤트 루프 스레드에서 막히는 작업을 하면 안 되는 구조라서, 부하가 늘자 이 잠금 경합이 태스크 하나의 최대 처리량을 크게 줄였다. 수정은 이미 릴리스 과정에 들어가 있었지만 영향을 작게 보고 서둘러 배포하지 않았다. 요청이 쌓이고 로드 밸런서가 새 연결을 더 열면서 오프힙 메모리가 늘었고, 처음 2분 안에 Linux Out Of Memory Killer 가 모든 컨테이너를 종료했다.

태스크 수를 손으로 늘려도 새 태스크가 곧바로 종료되자, 팀은 9:29 AM UTC 에 Cloudflare 방화벽 규칙으로 CDN 에서 모든 트래픽을 막았다. 새 태스크가 요청을 받지 않은 상태에서 뜨게 하려는 조치였다. 이어서 canva.com 을 상태 페이지로 돌렸다. 정상 태스크 수가 안정되자 엄격한 속도 제한을 건 오스트레일리아 사용자부터 트래픽을 조금씩 되살렸고, canva.com 은 10:00 AM UTC 무렵 복구됐다. Cloudflare 는 문제의 트래픽 관리 규칙을 지웠다.

심각도
–
영향 범위
canva.com was unavailable from 9:08 AM UTC to about 10:00 AM UTC; before that the editor's object panel did not load for many users
영향 사용자
–
지역
The object panel failure hit many users in Asia, and requests backed up from users in Southeast Asia
감지까지
–
복구까지
52m

증상

2024년 11월 12일 8:47 AM UTC 에 편집기 새 버전을 배포한 뒤, 아시아의 많은 사용자에게 편집기의 객체 패널이 끝없이 로딩 상태로 남았다. 9:08 AM UTC 부터는 canva.com 자체가 열리지 않았다.

같은 시각 Cloudflare 의 싱가포르 SIN 과 애슈번 IAD 사이 네트워크 경로에 지연이 생겨 첫 바이트까지 걸리는 시간의 90번째 백분위수가 1700% 넘게 늘었다. 객체 패널을 그리는 JavaScript 파일 하나는 받는 데 20분이 걸렸다.

요청이 끝나지 않았기 때문에 오류가 기록되지 않았고, 오류가 늘면 배포를 멈추는 카나리 시스템도 배포를 멈추지 않았다. 이 JavaScript 파일을 기다리는 사용자 요청 270,000건 이상이 같은 캐시 스트림에 묶였고, 그래서 동남아시아 사용자의 요청이 쌓였다.

9:07 AM UTC 에 파일 받기가 끝나자 대기 중이던 요청 270,000건 이상이 한꺼번에 완료됐다. 기다리던 모든 기기가 동시에 객체 패널을 불러 API Gateway 에 초당 150만 건의 요청이 몰렸다. 평소 최대 부하의 3배였다.

API Gateway 태스크가 요청을 제때 처리하지 못하자 로드 밸런서가 이미 과부하인 태스크에 새 연결을 더 열어 메모리 압박이 커졌다. 오프힙 메모리가 늘면서 처음 2분 안에 Linux Out Of Memory Killer 가 실행 중인 컨테이너를 모두 종료했다. 자동 확장이 이 속도를 따라가지 못해 canva.com 으로 가는 모든 요청이 실패했다.

자동 확장이 띄운 새 태스크는 정상으로 표시되자마자 몰려드는 트래픽을 감당하지 못하고 곧바로 종료됐다. 원하는 태스크 수를 손으로 크게 늘려 봤지만 태스크가 금방 종료되는 문제는 그대로였다.

증상 서비스 중단OOMKilled지연 시간 증가패킷 손실

원인

원인 의존성 장애

구성 요소 CDN 과 엣지 네트워크API 게이트웨이Amazon ECS
기여 요인 장애 중첩모니터링 사각지대재시도 폭주자동화 증폭미패치 알려진 버그
촉발
2024년 11월 12일 8:47 AM UTC 에 Canva 편집기 새 버전이 배포돼 클라이언트들이 새 정적 자산을 받기 시작했다. 같은 시각 Cloudflare 의 싱가포르와 애슈번 사이 경로에서 패킷이 손실돼 JavaScript 파일 하나의 전송이 20분 동안 끝나지 않았다.

감지

–

조치

후속 조치

교훈

–

출처

관련 사례

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: CDN 과 엣지 네트워크, API 게이트웨이, Amazon ECS. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.