사례1건

1건 중 1~1번째

1. IL-0409 배치 작업이 몰려 AWS ENI 한도가 바닥나고 인증 서비스의 태스크가 0개로 줄어 AssemblyAI 의 Async API 와 LLM Gateway 가 25분 멈췄다

   AssemblyAI2026

   증상

   2026년 1월 29일 AssemblyAI 의 Async Transcription API 와 LLM Gateway 가 500 오류를 내며 25분 동안 멈췄다. 상태 페이지에는 17:54 UTC 에 첫 공지가 올라왔다.

   서비스 중단오류율 상승지연 시간 증가클라우드 API 호출 한도 소진

   촉발

   평소보다 많은 배치 전사 작업이 한꺼번에 들어왔다. 오토스케일링이 워커를 늘리다가 spot 인스턴스가 바닥나 on-demand 로 넘어갔고, 그다음 AWS 의 Elastic Network Interface 한도에 걸렸다.

   원인

   용량 한계

   구성 요소

   Amazon ECS

   기여 요인

   과도한 영향 범위모니터링 사각지대자동화 증폭초기 신호 무시

   조치

   • 쌓인 요청을 모두 처리했고, 처리 완료 시간이 정상으로 돌아왔다.

   후속 조치

   • ENI 사용률에 알림을 건다.
   • 인증 서비스를 전용 자원으로 떼어 낸다.
   • AWS API 를 마구 호출한 Lambda 함수를 고친다.
   • 중기적으로 모든 서비스를 완전한 다중 지역 구성으로 옮긴다.

   교훈

   AssemblyAI 는 ENI 사용률을 모니터링하지 않은 것과, 인증 서비스가 배치 워커와 자원을 함께 쓴 것을 실제 잘못으로 꼽았다. 한쪽에 몰린 트래픽이 다른 쪽이 쓸 자원을 빼앗았다. 장애 대응을 돕도록 만든 Lambda 함수가 오히려 복구를 막았다. AssemblyAI 는 이 장애를 막을 수 있었고, 경고 신호가 있었지만 그 신호들을 함께 놓고 보지 못했다고 밝혔다.

   사례 보기

원인별1