语音克隆里程碑：ElevenLabs 推出语音翻译工具，打破内容语言障碍

“Elevenlabs 于10月10日正式推出 AI 配音功能,这对视频翻译领域将是一大创新。这项功能能够快速将音频或视频翻译成任意语言,同时保留原作者的声音特征。”

作为人工智能和语音合成领域的领头企业,Elevenlabs 一直致力于打造无障碍的多语言内容转换工具。他们之前推出的“IlMultilingual ” AI 语音模型,已经能生成富有情感色彩的朗读音频,支持 30 多种语言。公司 CEO 表示,AI 配音的发布将彻底改变视频翻译的传统方式,未来将完全取代字幕,实现语音的无障碍转换。

这一语音翻译工具可以在几分钟内将口语内容转换成其他语言,同时保留原始说话者的声音。这意味着游戏玩家可以用自己的母语与全球玩家交流,电影观众可以听到好莱坞明星用中文对白。新的 AI 配音为所有创作者、教育工作者和媒体公司提供了覆盖全球受众的便捷途径,这在以前是不可想象的。

Elevenlabs 首席执行官 Mati Staniszewski 评论说,AI 配音的发布是公司在打破内容语言障碍方面迈出的最大一步。它将帮助用户无论说什么语言,都可以享受想要的内容。对于内容创作者来说,这意味着可以轻松地触达到世界各地更多的受众。

在此我们看下试用的效果，选择一段星爷的经典视频：

这一工具超越了传统的翻译和字幕,在翻译过程中保留了讲话者的身份和原始语音模式,标志着一个媒体内容无障碍新时代的来临。用户可以用20多种语言听到同一个演员的声音,传达出原始录音的特征和细微差异。

该功能整合了 Elevenlabs 在多语言语音合成、语音克隆、文本和音频处理等方面的技术,增强了翻译内容的真实性和可理解性,同时保留了原始内容的精髓。目前,它支持 20 多种语言之间的语音翻译,包括中文、英语、日语等。

我再为大家测试一下日文版的蜡笔小新动画的配音效果：

这进一步拓展了 Elevenlabs 在音频 AI 领域的应用,实现了原始语音的情感和语调向配音语音的转换。他们开发的技术可以检测不同说话者的声音,去除背景噪音,从而处理包含多个讲话者的复杂音频。

通过 AI 自动化配音和输出控制,Elevenlabs 大大简化了跨语言内容的创作。现在,每段视频都可以快速低成本地面向全球观众。这对促进人类的交流互联,消除语言隔阂具有深远意义。

Elevenlabs 推出的 AI 配音功能是语音翻译领域的一次革新性进展。它为跨语言交流打开了新的大门,必将继续推动世界的联通与融合。我们拭目以待它如何改变我们的内容创作和欣赏方式。