Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >你听不出是AI在唱歌!这个日本虚拟歌姬,横扫中英日三种语言

你听不出是AI在唱歌!这个日本虚拟歌姬,横扫中英日三种语言

作者头像
量子位
发布于 2018-12-28 04:15:27
发布于 2018-12-28 04:15:27
1.6K0
举报
文章被收录于专栏:量子位量子位
郭一璞 晓查 乾明 发自 凹非寺 量子位 出品 | 公众号 QbitAI

在今天的内容开始之前,大家可以先戳下面的声音听一下,不长,只有18秒,是一个妹子在唱Adele的知名歌曲Rolling in the Deep。

有熟悉二次元世界的盆友可能听出来了,这段歌声听起来像佐藤莎莎拉,她是声音编辑软件CeVIO开发的虚拟歌姬。

不过,莎莎拉本尊的声音似乎听起来更“电子”一些,而上面这段Rolling in the Deep听起来就好像是一个声音和莎莎拉一样的真人唱的。

并不。

事实上,这是日本语音合成技术的最新突破,只要时长2小时的某歌手的歌声数据,通过深度学习技术,就可以合成出跟这个人一模一样的歌声。

如此真实的莎莎拉声音,让微博上的二次元粉丝惊呼:我的老婆要重生了!

甚至还有人已经预料到了,这将颠覆鬼畜圈。

嗯,以后B站UP主们就可以让丞相非常自然的唱骂王司徒了。

而在音乐界,这个新技术能让我们欣赏更多不同的歌曲。

举个例子,只要让AI听林俊杰的三张专辑,AI就可以用林俊杰的声音,唱出周杰伦、五月天、孙燕姿他们的任何一首歌。

并且,你会完全听不出电子合成的痕迹。

那下面,我们来欣赏一下这个AI在唱日文、英文、中文歌的不同表现吧:

日文版

前后分别是《Diamonds》和《瞳》两首歌,你可以依次听到每首歌带伴奏的完整版、清唱版和以前的技术生成的旧版本。

可以清晰的听出来,新技术生成的版本几乎和真人唱歌一模一样,完全没有旧版本那种浓浓的电子音。

英文版

英文歌则是《Rolling In The Deep》和《Everytime》两首,三个版本的顺序和上面的日文版相同。

英文版的清唱已经听起来跟正常人类唱歌没什么区别了,带上伴奏会有一丝丝违和,但单词的发音已经比旧技术的版本清晰多了。

不过,如果你仔细听了带伴奏的版本,会发现相比日文歌,这个AI在唱英文歌的时候还是有一丝丝电音的感觉。

中文版

终于到中文歌了,中文歌是陈奕迅的《爱情转移》。

这位AI唱中文歌的特点,就是一个字一个字的蹦,可能日本人民就是这么学中文的吧。

不过,仔细听还是可以听出它的潜质的,至少“让上次犯的错反省出梦想”最后一个字“想”,这个长音还是足够婉转的。

后一句“做爱情代罪的羔羊”,简直沙哑出了真人的感觉,看来AI已经了解到,这种突然变高的声音,普通人类是唱不上去的。

看来,要想学得像,也要学人类缺点啊,至少比旧技术那种强行飙高音的假唱听着舒服多了。

这背后是谁?

开发CeVIO的Techno Speech是一家的是由名古屋工业大学投资的创业公司,成立于2009年11月,主要业务是向外界提供计算机多媒体软硬件。

除了在资本层面,这家公司也和学校有着千丝万缕的联系,Techno Speech成立的目的正是传播名古屋工业大学开发的世界上最先进的音频相关技术。

名古屋工业大学语音技术研究室的德田惠一教授主导开发了以上项目,而从他实验室走出的大浦圭一郎博士正是Techno Speech的代理董事。

Techno Speech社长 大浦圭一郎

这次合成的声音用的是Techno Speech的CeVIO语音合成软件。

除此之外,这家公司还开发了其他一些知名的产品。

Techno Speech和日本卡拉OK公司Joysound合作,希望AI不仅能学会唱歌,将来还能教会人类唱歌。它不同于一般的用原唱声,而是实时合成语音,目前已经支持几乎所有日文歌曲。

大名鼎鼎的软银Pepper机器人也用上了他们的技术,他们曾获得过2017年“健康王国 for Pepper”机器人应用挑战赛大奖。

Pepper机器人装上他们的应用程序后,可以实现机器与人合唱,还能在唱完歌后给进行评论。

Techno Speech希望用这项技术解决养老院的娱乐设施问题。

使用了什么技术?

这一进步背后的技术细节,名古屋工业大学的研究团队没有透露,但表示明年3月,德田惠一团队将会在的日本声学学会春季会议上发布研究成果。

不过,在接受数码音乐网站DTM Station采访时,德田惠一也透露了一些细节:这个系统使用的是深度神经网络技术(DNN)。

德田惠一教授

在德田惠一自己的主页上,有很多语音合成的论文记录。最近也有一篇,刚好跟DNN有关。

在提到与日本版微软小冰“玲奈”的对比时,德田惠一称,微软的“玲奈”是从“歌词和歌声”到“歌声”,采用的是应对模拟用户的唱歌方法,而他们的这个,完全是歌词和乐谱结合来合成歌声。

此外,据介绍这项技术未来可以运用到下面8个领域:

  • 复现歌星的歌声(包括死者的声音)
  • 音乐制作和游戏开发
  • 由虚拟YouTubers主持的视频流/直播
  • 虚拟演员后期录制系统
  • AI或语音对话系统的发声模块
  • 生成灵活的参考语音,用于外语学习或歌唱教育
  • 为ALS(渐冻人症)或喉癌患者制作语音设备
  • 制作护理设施的数字标牌

专家解读“AI合成歌声”

关于这件事,量子位也请教了一些业内专家大神。

小冰首席语音科学家栾剑说,他听了CeVIO的演唱版本,日文和英文上的发音还不错,比较亲切,但更关注的是训练时间。

栾剑也看了CeVIO在B站的案例,不过觉得可能不是2小时的训练成果。一般来说,数据量越小,出高质量合成的难度越大。

今年,小冰六代发布会上,微软发布了一个4小时训练后的模型,当时效果反响不错。

但这位小冰首席语音科学家也强调,对于唱歌的评价更偏主观,不同人有不同的评价,所以评价标准并不统一。

如果以如何把人类的情感模拟到极致来看,栾剑则认为技术挑战在情感

“唱歌跟说话不同,对情感表达的要求非常高,嗓音、气息都会影响到最后的效果,所以如何更具情感是唱歌合成的难点。”

除了小冰,AI语音公司思必驰去年也在央视《机智过人》节目中亮相过AI唱歌项目。

思必驰联合创始人、首席科学家俞凯当时对AI合成歌声系统有过解读。

歌声合成是语音合成领域的一个分支,是给定文字和乐谱,生成唱歌语音的过程。

主体方法是在文字到语音合成的基础上,通过乐谱给定每个“汉字”的音调和“汉字”的发音长短,汉字以不同的音调合成出来就变成了歌唱。

唱歌模型是在朗读模型的基础上,通过改变声调实现文字与旋律的配合,并进一步利用深度学习去学习同一说话人演唱歌曲和朗读歌词之间频谱特征的差异。

标贝科技CTO李秀林告诉量子位,就目前的发展状况来看,AI合成歌声还有一些挑战。

这位TTS领域的大牛,曾是百度T9,因语音合成拿到百度年度最高奖,后来在滴滴任职语音团队负责人,在语音合成领域履历赫赫。

李秀林认为挑战有两点:

一方面是音域的限制,每个歌手都有适合自己的音域范围,如果超出范围的歌曲,合成效果可能会受到一定的影响。

另外,训练数据的限制,会影响基于神经网络的模型效果。

但新系统的效果与之前相比,有了很明显提升,机器声的感觉大幅下降,更接近真人的嗓音。

One More Thing

目前,国内AI唱歌最知名的还是微软小冰。

自2016年小冰以歌手身份出道以来,已发布了十几首接近人类质量的单曲。2017年9月底,第五代小冰解锁了人工智能歌手深度学习模型,还放下狠话:

我冲击的不是人类,而是传统的虚拟歌手。人类们,忘了漫长辛苦的手工调教吧。

一时反响激烈。

这一次,各方评论也纷纷提到了微软小冰。

不过小冰首席语音科学家栾剑也说,因为CeVIO没出中文版,所以跟最新的小冰六代还难以直接比拼。

但小冰团队对自家“女儿”非常自信,他们更希望让小冰直接唱给大家听。

因为公众号图文视频数量的限制,无法在此呈现了。

在量子位公众号对话界面回复“小冰唱歌”,给你听4小时训练后小冰六代的歌声。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-12-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
妈耶,摆脱机器音,二次宅的歌姬女友彻底活了
最近,一家日本公司展示了他们在虚拟歌姬上使用的新开发语音合成技术,效果惊艳,几乎听不出虚拟歌姬歌声中那“面瘫”式的机械音,现在的歌声有起承转合,有气息声,更有力度,能让你在脑海中自然脑补它的表情。
AI科技大本营
2018/12/28
6280
妈耶,摆脱机器音,二次宅的歌姬女友彻底活了
微软小冰是怎样学会对话、唱歌和比喻?我们听三位首席科学家讲了讲背后的原理
现在,已经有4.5亿台第三方智能设备搭载了小冰,小冰多轮对话的轮数(CPS)最高已经达到了23轮。
量子位
2019/12/05
7240
英伟达用AI给自家纪录片配音,情绪节奏稳稳拿捏,不说根本听不出来
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 先来听一小段音乐: 你能听出,这其实是AI唱的吗? 虽然日常和你对话的siri声音机械,还常常胡乱断句,但实际上,最新的技术进展显示,AI的语音合成能力已经可以说得上是以假乱真。 比如英伟达,最近就发布了一个更懂节奏、更具感情的语音合成AI。 在英伟达的纪录片中,她是这样自我介绍的: 口齿清晰自不必说,这气息顿挫、情绪把控,播音员范儿够正不? 帧级控制合成语音 英伟达将在9月3日的语音技术顶会Interspeech 2021上展示该项目的最新成果。
量子位
2023/03/01
4110
英伟达用AI给自家纪录片配音,情绪节奏稳稳拿捏,不说根本听不出来
手机K歌的人声伴奏对齐优化实践
大家好,我是王国腾,在唱吧主要负责音视频技术的研发和音频新技术的科研工作。本次将主要为大家介绍手机K歌在混音时间对齐方面存在的问题,常规的工程解决方案以及值得探索的方向。
LiveVideoStack
2021/09/01
1.6K0
孙燕姿的饭碗,也被AI盯上了
大数据文摘转载自深燃 作者 | 邹帅 编辑 | 黎明 孙燕姿可能都没想到,自己的“代表作”会加上一个《漠河舞厅》。 替孙燕姿唱歌的,是AI孙燕姿。最近,一批B站UP主用AI技术合成了孙燕姿版的《发如雪》《半岛铁盒》《红豆》,和其他港台歌手“梦幻联动”,还让孙燕姿唱起了更新的歌,《水星记》《漠河舞厅》等等,很多孙燕姿的粉丝都表示“绝对想不到孙燕姿会唱这种类型的歌。” 以假乱真,AI孙燕姿的唱功、音色均不在孙燕姿本人之下。这背后的技术原理也很简单,把孙燕姿的声音喂给AI,训练出特定的数据集,再给AI一首其他歌手
大数据文摘
2023/05/22
4200
孙燕姿的饭碗,也被AI盯上了
加州大学华人博士团队训练AI模仿鸟儿唱歌,实时「意念-语音转换」,想什么就唱什么!
比如,与谷歌助手或Alexa虚拟助手互动时,通常停顿时间会比你预期的长,不能实现与真实的人交谈的流畅度。
新智元
2021/07/06
4870
人工智能也能玩音乐?这个小程序要做你手上的「初音未来」| 晓组织 #27
大家好,我们是成都涂鸦科技团队,一个扎根人工智能音乐行业的初创公司,由一群有梦想、爱音乐、懂人工智能的年轻人组成。
知晓君
2018/07/26
6560
这AI绝对偷了格莱美奖杯!直接把LLaMA喂成乐坛顶流:开源版Suno来了!
还有这首 AI 新编版《世界赠与我的》!模仿王菲空灵仙嗓也太到位了吧,完全不一样的旋律,一样的嘎嘎好听,宁静中带一点哀伤的意境拿捏得简直了!
机器之心
2025/03/28
1080
这AI绝对偷了格莱美奖杯!直接把LLaMA喂成乐坛顶流:开源版Suno来了!
微软小冰作词又作曲,网友:要出道的节奏吗?
三百六十行,行行出状元。在众多行业中有这么一个行业迎来了一位“新人”——微软小冰。
AI科技大本营
2018/07/23
8450
微软小冰作词又作曲,网友:要出道的节奏吗?
AI帮清华博士写说唱歌词晋级了,AI相声行不行?
人们曾一度认为艺术是免受 AI 侵袭的最后一块净土,却没成想它很快就在这里“撒了个野”。
AI科技大本营
2018/08/17
8360
AI帮清华博士写说唱歌词晋级了,AI相声行不行?
码农录歌心得
最近喜欢上录歌,不是自己写歌编曲演奏演唱那么高段,也不是自弹自唱(这个后面可以有),也不是去录音棚交钱只管唱那么悠然。就是在自己的电脑上,翻唱一些自己喜欢的歌,自娱自乐一下。所以要做的事无非是:找伴奏+录唱+后期混缩=>输出。陆续录了一些,算是有了一些心得,分享一下。纯业余+新手向,恳请指教。
AhDung
2018/09/13
1.2K0
码农录歌心得
虚拟邓丽君,歌声合成真的可以如此逼真吗?数字人技术系列
2022年江苏卫视跨年晚会上,一身优雅深蓝色旗袍的邓丽君与周深一起演绎了《小城故事》,《漫步人生路》,《大鱼》3首歌,让不少观众直呼感动。
mixlab
2022/04/11
1.7K0
虚拟邓丽君,歌声合成真的可以如此逼真吗?数字人技术系列
真国风 AI 虚拟人!腾讯艾灵学会作诗书法新技能,以假乱真的那种
5月21日,腾讯AI虚拟人艾灵再秀出新技能,首次展示AI作诗、AI书法等国风才艺,并与青年歌手白举纲跨次元合作,共同演唱国风新歌《百川千仞》。
AI科技评论
2021/07/02
1.3K0
让AI为你的2017年“尬歌”一首
一年即将结束,鹅粉们都上传了多少照片到QQ空间的相册里? 在这里记录的生活点滴可能多到数不过来,那就直接用这些照片来总结你的2017年吧! 可能今天也有鹅粉已经收到了QQ空间官方账号「官方Qzone」送来的礼物卡,点开它也能开启“逆天人工智能”。 接下来,就把舞台交给腾讯AI Lab的AI Rapper,为大家献上“年终大曲”! 这其实是QQ空间最新上线的「说唱我的2017」H5,鹅粉们可以在这里,用最IN的方式来回顾你的2017年。 这些内容都来自鹅粉们的QQ空间相册,如果大家在2017年
企鹅号小编
2018/01/17
8210
让AI为你的2017年“尬歌”一首
听说机器已经开始给人类歌手打分了,它能听懂人的歌声吗?
本文介绍了人工智能在音乐领域的应用,特别是在音乐评价方面。文章介绍了一款名为“小渴”的人工智能音乐评价系统,该系统能够对音乐作品进行评价,为音乐爱好者提供更加客观、专业的参考意见。同时,文章也介绍了“小渴”的具体评价指标和评价方法,以及其在实际应用中的表现。
企鹅号小编
2018/01/09
1.4K0
听说机器已经开始给人类歌手打分了,它能听懂人的歌声吗?
下一个「洛天依」的打造任务,交给你了
机器之心原创 作者:张倩 虚拟歌手越来越出圈的今天,自己开发一个 APP 合成歌声已经不是什么难事了。 对于虚拟歌手洛天依的粉丝来说,2022 年 7 月 12 日是一个大日子。这一天,他们聚集在世界各地的屏幕前,陪自己的偶像度过了诞生十周年纪念日。这场历时 3 个多小时的直播演唱会人气直破千万。 图源:https://b23.tv/v290sOn 历时十年经久不衰,这是很多人类歌手都很难做到的事情,但虚拟偶像洛天依做到了。与此同时,很多新生代虚拟歌手也在陆续出道,征服着越来越多二次元以外的人。 很多粉丝
机器之心
2022/08/25
4380
下一个「洛天依」的打造任务,交给你了
初音未来、洛天依、镜音......揭秘虚拟歌姬背后的大BOSS
提到虚拟歌姬,你的第一反应是谁? 洛天依、初音未来、乐正绫、巡音、Gumi、言和、镜音、东方栀子......。(没上榜的记得评论区留言) 在二次元的世界里,虚拟歌姬是一个特殊的存在,他们不是"活人",但有粉丝、有流量、有作品,其影响力、待遇不亚于一个鲜活的网红IP。 以洛天依为例,她是全世界第一款中文声库和虚拟形象,也是首位登上中国主流电视媒体的虚拟歌手,与杨钰莹、周华健、王源等一众明星在春晚同台合唱和歌舞表演。 她们一步一步成长,不断给我们带来“一字一句的美妙体验”。而成就这种“美妙体验”的,正
腾讯云AI
2021/04/02
1.5K0
路过人间遇见你!三次元虚拟小姐姐翻唱《华夏》除夕贺新春
主持人陈伟鸿表示,「刚才我刻意一开始先没有看她,就觉得这个歌声,已经是沁人心脾了。」
新智元
2022/02/24
6080
路过人间遇见你!三次元虚拟小姐姐翻唱《华夏》除夕贺新春
微软小冰被训练成诗人,人类或找到AI创造的通用方法 | 李笛演讲
【新智元导读】“我的心如同我的良梦,最多的是杀不完的人”,“她嫁了人间许多的颜色”,这是微软小冰作的诗,是创作,不是复制。昨日微软小冰发布会上宣布,微软(亚洲)互联网工程院副院长李笛介绍了小冰如何通过519位诗人的训练成为一个独创性达83%的少女诗人,以及小冰被训练成可取代网络歌手的过程。李笛认为这意味着我们可能发现了一种通用的方法,这种通用的方式可以同时运用在各种各样的内容创造上。 对大众来说,微软小冰是一款有知名度的AI产品,有着比较鲜明的拟人化形象。不论是在社交媒体跟用户来回调侃的俏皮小冰,还是唱着网
新智元
2018/03/27
1.4K0
微软小冰被训练成诗人,人类或找到AI创造的通用方法 | 李笛演讲
音频品鉴与歌唱评价——音频内容理解实践
歌唱评价是K歌系统中核心技术之一。近年来,歌唱评价领域也发生着多元化和深度化的变革。本次LiveVideoStackCon 2022 北京站邀请到腾讯音乐天琴实验室高级研究员——江益靓,为大家介绍全民K歌的多维度评价技术和深度歌唱评价技术的实践,以及优质内容挖掘中使用的音频品鉴系统。 文/江益靓 编辑/LiveVideoStack 各位同行朋友们,大家好,很高兴和大家一起分享交流,本次分享的主题是音频品鉴与歌唱评价——音频内容理解的一些技术实践。我是来自天琴实验室的益靓。 接下来将从四个方面展开介绍:歌唱
LiveVideoStack
2023/05/18
1.8K0
音频品鉴与歌唱评价——音频内容理解实践
推荐阅读
妈耶,摆脱机器音,二次宅的歌姬女友彻底活了
6280
微软小冰是怎样学会对话、唱歌和比喻?我们听三位首席科学家讲了讲背后的原理
7240
英伟达用AI给自家纪录片配音,情绪节奏稳稳拿捏,不说根本听不出来
4110
手机K歌的人声伴奏对齐优化实践
1.6K0
孙燕姿的饭碗,也被AI盯上了
4200
加州大学华人博士团队训练AI模仿鸟儿唱歌,实时「意念-语音转换」,想什么就唱什么!
4870
人工智能也能玩音乐?这个小程序要做你手上的「初音未来」| 晓组织 #27
6560
这AI绝对偷了格莱美奖杯!直接把LLaMA喂成乐坛顶流:开源版Suno来了!
1080
微软小冰作词又作曲,网友:要出道的节奏吗?
8450
AI帮清华博士写说唱歌词晋级了,AI相声行不行?
8360
码农录歌心得
1.2K0
虚拟邓丽君,歌声合成真的可以如此逼真吗?数字人技术系列
1.7K0
真国风 AI 虚拟人!腾讯艾灵学会作诗书法新技能,以假乱真的那种
1.3K0
让AI为你的2017年“尬歌”一首
8210
听说机器已经开始给人类歌手打分了,它能听懂人的歌声吗?
1.4K0
下一个「洛天依」的打造任务,交给你了
4380
初音未来、洛天依、镜音......揭秘虚拟歌姬背后的大BOSS
1.5K0
路过人间遇见你!三次元虚拟小姐姐翻唱《华夏》除夕贺新春
6080
微软小冰被训练成诗人,人类或找到AI创造的通用方法 | 李笛演讲
1.4K0
音频品鉴与歌唱评价——音频内容理解实践
1.8K0
相关推荐
妈耶,摆脱机器音,二次宅的歌姬女友彻底活了
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档