AI虚拟主播可以与B站直播对接,你知道吗?
如今,国内外AI虚拟主播产品其实远不如其他音视频领域发展迅速,而大多数科技公司开发AI虚拟人所应用的场景也较传统。
最近,在B站刷到一个up主的视频,讲解了一款自主研发开源的AI虚拟人工具,功能较全面,虽然是整合了相关开源技术,但是可以一试,就是安装部署有些麻烦!
它叫AI-YinMei
,中文名吟美
,可以根据你的指令完成各种任务。
作为一个多功能的AI系统,它不仅能与你进行自然语言的对话,还能在Bilibili直播中与观众互动,合成语音,切换不同的虚拟角色,甚至还可以生成艺术作品。
那么它有哪些特色功能呢?
自然语言处理:
基于ChatGLM模型的对话能力。直播互动:
集成Bilibili直播聊天功能。文本转语音:
实现合成自然的语音输出。多角色切换:
支持多个虚拟角色的切换。AI训练:
使用LLaMA-Factory进行模型训练。表情控制:
通过Vtuber Studio实现表情同步。图像生成:
基于Stable Diffusion生成艺术作品。内容过滤:
检测并过滤NSFW图像。集成了花儿不哭大佬的GPT-SoVITS,唱歌变声Auto-Convert-Music等多个开源项目,以fastgpt等作为聊天模块核心,此外还有多种AI虚拟模型嵌入。
安装需要一些必装的工具和服务,具体可前往项目主页查看具体安装步骤,也可找作者看有没有一键安装包。(项目地址放到文末)
安装完成后,其实启动跟其他开源项目一样,是在本地起了一个http服务,访问该服务即可打开下图页面。
可以看到它内置了几种角色,当然我们也可以自定义添加角色,在parameter标签下upload character进行上传,支持yaml、json、png形式。
角色资源站可以参考:https://www.chub.ai/
由于它支持表情控制 Vtuber Studio,可以自由控制相关角色的一些模型信息及系统设置。
更可以实现3D虚拟人屏显控制,直播弹幕自动回复语播报。
最新功能还可以调用Stable Diffusion进行自动绘画,将图片输流到OBS直播间,这不更香了嘛!
GitHub: https://github.com/worm128/AI-YinMei
(相关场景图片均来自作者教程,有兴趣的同学可以自行搭建体验哈)