일레븐랩스, 90개 언어 지원 음성 AI 공개

[파이낸셜뉴스] 일레븐랩스가 음성 대화와 추론 기능을 통합한 인공지능(AI) 음성 에이전트 모델을 공개했다. 음성 인식부터 대화 흐름 제어, 음성 합성까지 개별 기술을 조합해야 했던 기존 방식을 간소화해 기업과 개발자의 음성 AI 서비스 구축 부담을 낮추려는 행보다.

3일 업계에 따르면 글로벌 AI 오디오 기업 일레븐랩스는 음성 대 음성(STS) 모델 '일레븐 리얼타임'을 출시했다. 모델은 빠르고 자연스러운 대화에 초점을 맞춘 '일레븐 리얼타임 v1 미니'와 복잡한 작업 수행에 특화된 '일레븐 리얼타임 v1 맥스' 두 종류로 구성됐다. 음성 채팅 에이전트 플랫폼 '일레븐 에이전트'와 리얼타임 응용 프로그래밍 인터페이스(API)를 통해 이용할 수 있다.

기존에는 자연스러운 음성 에이전트를 구축하려면 음성 인식, 발화 구간 감지, 대화 차례 전환, 대규모언어모델(LLM), 음성 합성 등 여러 기술을 개별적으로 선택하고 조합해야 했다. 일레븐 리얼타임은 이들 기능을 하나의 시스템으로 통합해 사용자가 모델을 선택하는 것만으로 음성 에이전트를 구축할 수 있도록 했다.

두 모델은 한국어와 일본어를 포함해 90개 이상의 언어를 지원하며, 일레븐랩스가 보유한 1만7000개 이상의 음성 라이브러리에서 원하는 목소리를 선택할 수 있다. 자연스러운 대화 차례 전환과 이용자의 끼어들기에 대한 대응, 외부 도구 호출 기능도 지원한다.

미니 모델은 AI 비서와 교육용 튜터, 게임·엔터테인먼트용 캐릭터 등 빠른 응답이 필요한 서비스에 적합하다. 맥스 모델은 고객 지원과 잠재 고객 선별, 외부 도구를 활용한 정보 조회 등 여러 단계의 업무를 처리하는 데 초점을 맞췄다. 이용자는 서비스 목적에 따라 모델 선택만 바꾸면 두 모델을 전환할 수 있다.

제3자 평가기관 아티피셜 애널리시스의 올해 10월 기준 평가에서 맥스 모델은 음성 기반 추론 능력을 측정하는 '빅 벤치 오디오'에서 98.8%의 정답률을 기록했다. 질문이 끝난 뒤 답변을 시작하기까지 걸린 시간은 0.57초였다. 대화 중 침묵과 차례 전환, 끼어들기 등에 대한 대응을 측정하는 '풀 듀플렉스 벤치'에서는 미니 모델이 95.8%, 맥스 모델이 94.1%를 기록했다.
일레븐랩스는 한국 기업과 개발자의 음성 AI 활용도 지원한다는 방침이다. 초고령사회 진입으로 고객 응대 등 음성 기반 업무의 효율화 필요성이 커지는 가운데, 한국어를 포함한 다국어 지원과 모델 구축 간소화를 앞세워 기업용 음성 에이전트 시장을 공략할 것으로 보인다.

일레븐랩스 관계자는 "한국어를 포함한 90개 이상의 언어를 지원하는 일레븐 리얼타임을 통해 한국 기업과 개발자가 고객과 자연스럽게 대화하는 음성 에이전트를 구축할 수 있도록 지원해 나갈 계획"이라고 말했다.

[email protected] 장민권 기자