IL-0410 AssemblyAI · 2026-09-16awsai-infra
AWS SQS Fair Queues 가 정상 메시지를 InvalidParameterValue 로 거부해 AssemblyAI US Async API 요청의 절반가량이 실패했다
AssemblyAI 의 전사 파이프라인은 AWS SQS 로 작업을 나눈다. 2026년 9월 16일 20:04 UTC 부터 SQS 의 Fair Queues 기능이 정상 메시지를 InvalidParameterValue 오류로 거부하기 시작했다. 이 메시지의 파라미터는 AssemblyAI 서비스가 몇 달 동안 문제없이 보내던 것이었다. AssemblyAI 쪽에는 이 일을 촉발한 배포나 인프라 변경이 없었고, AWS 는 자기 서비스 쪽 문제라고 확인한 뒤 그날 저녁 변경을 되돌렸다.
문제가 된 큐는 API 와 전사 워커 사이에 있었다. 큐에 넣지 못한 요청은 바로 실패했고, 통과한 작업 일부도 처리량이 줄어 늦어졌다. 정점에는 US 엔드포인트의 async 전사 요청 약 50% 가 실패했다. AssemblyAI 는 모든 서비스에서 Fair Queues 를 끄고 일반 SQS 큐로 돌아가 첫 오류로부터 약 한 시간 뒤인 21:08 UTC 에 정상 운영을 되찾았다. 고객의 오디오나 전사 데이터 손실은 없었고, 이 시간에 실패한 요청은 다시 보내도 됐다.
- 심각도
- –
- 영향 범위
- US Async API: at peak roughly 50% of async transcription requests failed with server errors, and some successful requests were slower
- 영향 사용자
- Customers using the Async API on the US endpoint
- 지역
- US endpoint; EU endpoint and real-time/streaming services not affected
- 감지까지
- –
- 복구까지
- 1h 4m
증상
2026년 9월 16일 20:04 UTC 부터 AssemblyAI 의 US Async API 에서 서버 오류가 늘었다. 정점에는 US 엔드포인트의 async 전사 요청 약 50% 가 실패했고, 성공한 요청 일부도 평소보다 오래 걸렸다.
상태 페이지는 20:22 UTC 에 US 엔드포인트에서 Async API 를 쓰는 모든 고객이 서버 오류를 받는다고 알렸다. EU 엔드포인트와 real-time·streaming 서비스는 영향을 받지 않았다.
오류는 AWS SQS 의 Fair Queues 기능에서 나왔다. AssemblyAI 서비스는 몇 달 동안 같은 파라미터를 담은 메시지를 문제없이 보내 왔는데, Fair Queues 가 이 정상 메시지를 InvalidParameterValue 오류로 거부하기 시작했다. AssemblyAI 쪽에서는 이 일을 촉발한 배포도 인프라 변경도 없었다.
이 큐들은 API 와 전사 워커 사이에 있었다. 큐에 넣지 못한 요청은 그대로 실패했고, 통과한 작업 일부는 처리량이 줄어 늦어졌다.
상태 페이지는 20:24 UTC 에 원인을 찾았다고 알렸고, 21:10 UTC 에 오류가 줄고 있지만 아직 다 풀리지 않았다고 알렸다.
원인
원인 클라우드 제공자 장애
- 촉발
- AWS 쪽의 변경으로 SQS Fair Queues 가 메시지를 InvalidParameterValue 오류로 거부하기 시작했다. 거부된 메시지의 파라미터는 AssemblyAI 서비스가 몇 달 동안 보내던 것이었다. AWS 는 이것이 자기 서비스 쪽 문제라고 확인했고 그날 저녁 변경을 되돌렸다.
감지
–
조치
- 모든 서비스에서 Fair Queues 를 끄고 일반 SQS 큐로 되돌렸다. 첫 오류로부터 약 한 시간 뒤 정상 운영이 돌아왔다.
후속 조치
- 환경 변수에 있는 서비스 설정을 전역 feature flag 시스템으로 옮겨, 이번 같은 조치가 몇 분이 아니라 몇 초 안에 끝나게 한다.
- 검토를 거친 break-glass 경로, 곧 긴급 배포용 우회 경로를 만들어 급한 수정은 꼭 필요하지 않은 CI 단계를 건너뛸 수 있게 한다.
- 한 지역에서 제공업체의 의존 서비스가 나빠질 때 기능 단위의 완화 조치에만 기대지 않고 US 파이프라인을 두 번째 지역으로 넘길 수 있게 하는 작업을 우선한다.
교훈
–
출처
- https://status.assemblyai.com/incidents/jfgvq10x906m · official-status
관련 사례
IL-0588AppOptics 와 Librato 의 메트릭 API 가 대부분의 데이터에 5xx 를 내고 Kafka 파티션이 리더 없이 오프라인으로 남았다AppOptics · 2018같은 원인 · 공통 메시지 브로커
내 클러스터에도 있는지 확인하기
AI 도구와 스크립트용
- 이 사례의 JSON: https://incidentlib-api.benchlet.com/cases/IL-0410
- 가장 비슷한 사례들: https://incidentlib-api.benchlet.com/cases/IL-0410/similar
- MCP 서버(Streamable HTTP, 키 없음):
https://incidentlib-mcp.benchlet.com/mcp
API 는 키가 필요 없습니다. MCP 서버는 search_incidents, get_incident, list_incidents, get_topic, vocab 도구를 내놓습니다. 사용법은 API 와 MCP.