Incident Library

IL-0409 AssemblyAI · 2026-01-29awsai-infra

배치 작업이 몰려 AWS ENI 한도가 바닥나고 인증 서비스의 태스크가 0개로 줄어 AssemblyAI 의 Async API 와 LLM Gateway 가 25분 멈췄다

AssemblyAI 의 트래픽은 꾸준히 늘고 있었고, 2026년 1월 29일에는 평소보다 많은 배치 전사 작업이 한꺼번에 들어왔다. 오토스케일링은 워커를 늘렸다. spot 인스턴스가 바닥나 on-demand 로 넘어갔고, 그다음 AWS 의 Elastic Network Interface 한도에 걸렸다. ECS 태스크는 저마다 ENI 가 하나씩 필요하다. 남은 ENI 가 없자 배치 워커와 자원을 함께 쓰던 인증 서비스가 태스크를 교체하지 못했고, 인증 서비스의 태스크가 0개로 줄면서 모든 것이 멈췄다. Async Transcription API 와 LLM Gateway 는 25분 동안 멈췄다.

AssemblyAI 가 복구하려 할 때는 장애 대응을 돕도록 만든 Lambda 함수가 AWS API 에 describe 호출을 마구 보내 rate limit 을 일으켰고, 서비스를 되살리는 데 필요한 작업까지 막았다. 서비스가 돌아온 뒤에도 쌓인 요청을 처리하느라 두 시간 동안 처리 완료 시간이 길어졌고, 19:32 UTC 에 쌓인 요청을 다 처리하고 정상으로 돌아왔다. AssemblyAI 는 ENI 사용률을 모니터링하지 않았고, 인증 서비스가 배치 워커와 자원을 함께 써서 한쪽의 트래픽 급증이 다른 쪽의 자원을 빼앗았다고 밝혔다.

심각도
–
영향 범위
Async Transcription API and LLM Gateway down for 25 minutes, then two hours of degraded performance with elevated turnaround times; website down and logins affected during recovery
영향 사용자
–
지역
NA API endpoints; streaming API and EU endpoint not affected
감지까지
–
복구까지
2h 25m

증상

2026년 1월 29일 AssemblyAI 의 Async Transcription API 와 LLM Gateway 가 500 오류를 내며 25분 동안 멈췄다. 상태 페이지에는 17:54 UTC 에 첫 공지가 올라왔다.

영향은 NA API 엔드포인트의 async 와 LLM gateway 에 한정됐고, streaming API 와 EU 엔드포인트는 정상이었다. 18:29 UTC 부터 요청이 다시 성공하기 시작했지만 일부는 여전히 500 오류를 냈다. 18:30 UTC 에는 웹사이트가 내려가 있었고 로그인도 영향을 받을 수 있었다.

서비스가 돌아온 뒤에도 두 시간 동안 성능이 떨어졌다. 쌓인 요청을 처리하는 동안 처리 완료 시간이 길어졌고, 19:32 UTC 에 쌓인 요청을 다 처리하고 완료 시간이 정상으로 돌아왔다.

AssemblyAI 가 복구하려 할 때, 장애 대응을 돕도록 만든 Lambda 함수가 AWS API 에 describe 호출을 마구 보내고 있었다. 이 호출 때문에 rate limit 이 걸려, 서비스를 되살리는 데 필요한 작업이 막혔다.

증상 서비스 중단오류율 상승지연 시간 증가클라우드 API 호출 한도 소진

원인

원인 용량 한계

구성 요소 Amazon ECS
기여 요인 과도한 영향 범위모니터링 사각지대자동화 증폭초기 신호 무시
촉발
평소보다 많은 배치 전사 작업이 한꺼번에 들어왔다. 오토스케일링이 워커를 늘리다가 spot 인스턴스가 바닥나 on-demand 로 넘어갔고, 그다음 AWS 의 Elastic Network Interface 한도에 걸렸다.

감지

–

조치

후속 조치

교훈

AssemblyAI 는 ENI 사용률을 모니터링하지 않은 것과, 인증 서비스가 배치 워커와 자원을 함께 쓴 것을 실제 잘못으로 꼽았다. 한쪽에 몰린 트래픽이 다른 쪽이 쓸 자원을 빼앗았다. 장애 대응을 돕도록 만든 Lambda 함수가 오히려 복구를 막았다. AssemblyAI 는 이 장애를 막을 수 있었고, 경고 신호가 있었지만 그 신호들을 함께 놓고 보지 못했다고 밝혔다.

출처

관련 사례

–

내 클러스터에도 있는지 확인하기

kubegap 은 Claude Code 나 Codex 에서 쿠버네티스 클러스터를 읽기만 하며 이 사례와 같은 상태를 점검합니다. 이 사례의 구성 요소: Amazon ECS. 점검 항목의 근거는 이 사례 같은 공개 보고서입니다.

kubegap 열기

AI 도구와 스크립트용

API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.