AI 오디오 기업 일레븐랩스, 'AI 더빙 모델' API 개방
[파이낸셜뉴스] 인공지능(AI) 오디오 기업 일레븐랩스가 원본 음성의 감정과 연기까지 재현하는 AI 더빙 모델을 기업과 개발자에게 개방한다.
일레븐랩스는 AI 더빙 모델 '더빙 v2'를 '일레븐API'를 통해 제공한다고 10일 밝혔다. 지난 5월 사용자 인터페이스(UI) 버전으로 먼저 공개된 데 이어 이번 API 출시로 기업과 개발자가 자체 제품과 워크플로우에 더빙 기능을 직접 연동할 수 있게 됐다.
더빙 v2는 음성을 텍스트로 변환한 뒤 번역·합성하는 기존 방식과 달리 음성을 음성으로 직접 변환하는 '오디오-투-오디오' 방식을 적용했다. 이를 통해 원본 화자의 목소리뿐 아니라 감정과 말투, 연기 뉘앙스를 보다 자연스럽게 재현할 수 있다는 설명이다.
발화 타이밍도 원본 영상에 맞춰 조정되며 한국어와 일본어를 포함한 92개 언어를 지원한다.
일레븐랩스는 게임 캐릭터와 영상 콘텐츠 현지화, 다국어 마케팅 영상, 영화·드라마의 글로벌 유통 등에 활용될 것으로 기대하고 있다. 특히 K콘텐츠의 해외 다국어 더빙과 해외 콘텐츠의 한국어 더빙 등에서 활용도를 높일 수 있을 것으로 전망된다.
[email protected] 주원규 기자




