前几天就着手准备指定人物唱歌的教程,苦于还要抽时间去收集素材,就只是短期的把整个流程跑了一下,全程没有报错,就在素材这里不想花过多的时间,下午突然想到了一个解决方案,就回来赶紧验证一下。今天我们带着详细的步骤和视频讲解,感兴趣的,可以试试实现多个场景。
完整的流程我们看下想法,在训练过程需要足量的音频素材,但是有没有一个视频或者素材是纯单人全量说话的,所以为了避免浪费时间,我们结合以前的声音Copy神器,CosyVoice 2.5 增强版,经过更新后,可以更快,更精准的复刻声音,那么10分钟的素材,轻松搞定,新版本提供了更准确、更稳定、更快、更好的语音生成能力。
温馨提示公众号已开启留言功能哦, 所需要的模型和插件工作流都放在文件夹啦~,点击上方蓝色字,回复关键字【人声】领取本期整合包,支持windows和mac版本资料~~码字不易,希望大家点赞收藏在看~~
AI女友养成记 CosyVoice vs MiniCPM-o2.6
复刻人物的声音,找不到纯音频也没关系,随便剪辑一个10-15秒的视频也是OK的,
视频教程
https://mpvideo.qpic.cn/0bc3mmcbeaaeryaeykczgfufiy6dcjrqieqa.f10002.mp4?
文字版本
找一个10-15秒的视频素材,把他转成MP3,网址是这个,免费的
https://www.freeconvert.com/zh/mp4-to-mp3/download
如果还想要更高的要求,去掉杂音部分,只提取人声,可以使用海螺的人声提取,免费,且非常迅速,也就是几秒钟就转完了,网址是这个
https://www.minimaxi.com/audio/voice-isolator
实际上我们RVC本身就具备这个能力,OK,要复刻的人物的声音准备好了,我们准备复刻10分钟的音频,随便找一个小说,2000字左右,开始复刻。这里没有任何技巧,把10-15秒的音频说的是什么内容准备好,填好就可以了,点击转换,1分钟不到,就转完了。
2、将歌曲或者人声进行分离
点击上传MP3,选择HP3,导出选择wav,点击转换就好了
3.开始训练,参数如下
把声音分离后的路径,也就是你10分钟的素材的路径填写进来,单独一个文件夹就可以了
4.提取音高,参数比较简单
5.开始训练,前面50轮次,总轮200次,batchsize根据显卡显存来,24就写22,16就写14,这样子,点击一键训练
出现这几个全流程结束就可以了
6.刷新音色,把要唱的歌曲,伴奏人声分离后的部分路径粘贴进来,点击转换即可,伴奏转换完,放在opt文件夹下面,选择vocal文件即可
7,使用AI视频制作一个唱歌的效果
帮我生成一个视频:图片里的动漫人物正在唱歌