前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >免费用!阿里通义大模型上新,超逼真音视频生成SOTA!

免费用!阿里通义大模型上新,超逼真音视频生成SOTA!

作者头像
机器之心
发布于 2025-04-16 05:53:40
发布于 2025-04-16 05:53:40
2110
举报
文章被收录于专栏:机器之心机器之心

机器之心发布

机器之心编辑部

近日,阿里通义实验室推出了全新数字人视频生成大模型 OmniTalker,只需上传一段参考视频,不仅能学会视频中人物的表情和声音,还能模仿说话风格。相比传统的数字人生产流程,该方法能够有效降低制作成本,提高生成内容的真实感和互动体验,满足更广泛的应用需求。目前该项目已在魔搭社区、HuggingFace 开放体验入口,并提供了十多个模板,所有人可以直接免费使用。

  • 论文:https://arxiv.org/abs/2504.02433v1
  • 项目页:https://humanaigc.github.io/omnitalker
  • 体验页:https://huggingface.co/spaces/Mrwrichard/OmniTalker

我们先来看两段视频,就能感知到生成内容的真实感有多强:

是不是已经分辨不出小李子莱昂纳多和 LeCun 是AI复刻出来的了?感兴趣的读者也可以从项目页查看更多Demo。

接下来,就让我们看下阿里通义实验室 HumanAIGC 团队对此论文的解读。

背景

近年来,随着语言大模型的迅速发展,虚拟主播、虚拟助手等应用得到了广泛的推广与使用。然而,针对文本驱动的数字人生成研究仍然较少,现有方法主要采用级联流水线的方式,将文本转语音(Text-to-Speech, TTS)系统与音频驱动的数字人模型相结合。这种传统流水线一方面引入了系统复杂性和延迟开销,尤其是在实时互动场景下,各模块之间的延迟问题成为影响用户体验的重要因素;另一方面还从根本上存在音画输出不同步以及生成语音与视觉表情风格不一致的问题,无法完美复制真人的说话风格。

为了解决这些局限性,我们提出了 OmniTalker,能够在零样本实时场景中,根据文本和参考视频同时生成同步的语音和数字人视频,同时保留语音风格和面部风格。该框架采用双分支 DiT 架构:音频分支从文本合成梅尔频谱图,而视觉分支预测精细的头部姿态和面部动态。为了桥接模态间的信息,我们引入了一种新颖的视听融合模块,整合跨模态信息以确保音频和视觉输出在时间上的同步性和风格上的一致性。此外,我们的上下文参考学习模块能够从单个参考视频中有效捕捉语音和面部风格特征,而无需额外引入风格提取模块。此方法特别注重保持声音的一致性和说话风格的真实性,同时优化了处理速度,确保了实时响应性能,从而显著提升了数字人生成的质量和效率。相较于传统的数字人生产流程,此方法能够有效降低制作成本,提高生成内容的真实感和互动体验,满足更广泛的应用需求。

图 1. 区别于传统级联框架,OmniTalker 是一个端到端的统一框架,可根据文本和一段简短的参考音视频实时生成同步的语音和数字人视频,同时保持声音的一致性和说话风格的真实性。

方法介绍

图 2. OmniTalker 结构图

我们的目标是在紧凑的网络架构中实现音视频联合生成,确保音频和视频输出之间的对应关系,同时从参考视频中复制声音和面部风格。受启发于 LLM 的上下文学习能力,以及多模态 DiT 在文生图中的优势,我们提出了如图 2 所示的模型架构。该架构有三个核心部分:(1)三个嵌入模块来分别捕捉参考音视频的动态特征以及文本信息,(2)一个双流 DiT 模型用于音视频并行建模,以及 (3) 一个音视频特征融合模块来确保音视频特征的紧密同步。

1. 模型输入方面,包含驱动文本和参考音视频三种模态特征:

  1. 音频特征:我们从参考视频中提取音频流,并利用梅尔谱图作为音频特征的表示方法。通过一个基于 MLP 的嵌入模块,我们将梅尔谱图转换为音频嵌入 x^a;
  2. 文本特征:使用 ASR 模型将参考音频转化为文字,形成参考文本。随后,输入文本以及参考文本被转换成拼音序列(针对中文)或字符 / 字母序列(针对拉丁语系),并进行拼接。为了匹配音频嵌入 x^a 的长度,我们以某种填充标记对文本序列进行填充。文本嵌入过程采用了 ConvNeXt-V2 架构,生成的文本嵌入c_t作为条件指导音频和视觉分支的处理。
  3. 视觉特征:对于视频片段,我们提取包含面部表情的 51 维混合形状系数、6 维旋转与平移参数(RT),以及每帧的眼球运动系数在内的视觉编码。如同处理音频特征一样,这些视觉编码也通过一个 MLP 映射到视觉嵌入 x^v 上,以实现统一的特征表示。

在训练阶段,音频和视觉特征会随机掩码序列的一部分,利用上下文学习来达成风格复刻的需求;而在推理阶段,则依据参考音频的节奏及输入文本的长度对音视频特征进行零填充,确保处理的一致性。

2. 关于模型结构,我们方法的核心在于建模视频、音频和文本模态之间的交互,旨在生成既连贯又同步的音视频内容。我们的框架由一系列专门设计用于处理音频和视频数据流的 DiT 块组成,促进音频和视频特征间的跨模态融合,从而产出一致且同步的结果。模型的关键组件包括:

  1. 音视频特征融合模块:采用双分支架构,一个分支专注于处理视觉运动信息,另一个则负责解析音频信息。利用 MM-DiT 注意力机制,网络能够动态评估并平衡音频与视觉特征的重要性,确保最终生成的视频在时间轴上以及语义层面与输入音频完美对齐。
  2. 单模态 DiT 块:在完成初步的跨模态融合后,模型使用多个单模态 DiT 块进一步细化生成过程。这些块操作于已融合的多模态特征之上,但针对每个单独模态(即音频或视觉)进行优化,以提高输出质量。
  3. 音视频解码器:经过上述步骤生成的音视频特征随后通过预训练的解码器转换回原始格式。对于音频部分,我们使用 Vocos 解码器将合成的梅尔频谱图还原为语音,这是一种高保真声码器,也可替换为其他相似声码器如 HiFi-GAN。至于视频解码,我们设计了一个 GAN 模型(复用 ChatAnyone),它根据从参考视频中随机选取的参考帧为基础,并按照 DiT 模型预测的头部姿态和混合形状系数生成新的视频帧。该模型能以 30FPS 的速度生成分辨率为 512×512 的帧,满足实时推理的需求。

实验结果

鉴于当前尚无方法能够同时生成音频和视频,我们对文本转语音(TTS)技术和音频驱动的数字人生成(Talking Head Generation, THG)技术分别进行了比较分析。在 TTS 方面,我们挑选了三种代表性方法:MaskGCT、F5TTS 和 CosyVoice,并针对错词率(WER)和声音相似度(SIM)进行了对比评估。对于 THG 的评估,我们构建了一个多模态比较框架,涵盖以下几类方法:(1) 两种基于 GAN 的技术(SadTalker 和 AniTalker);(2) 两种最先进的基于 diffusion 的方法(EchoMimic 和 Hallo);(3) StyleTalk,一种具备风格保留功能的音频驱动 THG 方法。为了确保公平性和结果的可比性,实验中所有 THG 模型均采用由我们提出的方法生成的音频信号作为输入。

表 1. TTS 性能对比

表 1 展示了我们的方法在音频测试集 Seed 上的测试结果,与 TTS 基线模型相比,我们的生成结果显示出更低的错词率(WER),这表明生成的音频与文本之间具有更高的一致性。此外,我们的方法在声音相似度(SIM)指标中排名第二,进一步证实了其在零样本条件下保持声音特征的能力。值得注意的是,通过对比包含和不包含运动分支(Ours w/o motion)的模型表现,可以看出完整模型实现了更低的 WER,这证明了结合视觉监督能有效提升生成音频的感知质量。我们将这种改进归因于多任务学习的有效性,因为在音频生成和面部动作之间存在着高度的相关性,两者结合可以相互促进,从而提高整体输出的质量。

在视觉质量评估方面,除了传统的峰值信噪比(PSNR)、结构相似性(SSIM)、Frechet Inception Distance(FID)、Frechet Video Distance(FVD)、ID 相似度(CSIM)以及口型同步(Sync-C)等指标外,我们还引入了两个新的评估标准 ——E-FID(表情 FID)和 P-FID(姿势 FID),以分别衡量生成的面部表情和头部姿势的真实感。具体而言,E-FID 结合了 51 维面部混合形状系数和 4 维眼动参数进行计算,而 P-FID 则通过 6 维旋转 - 平移参数来量化头部姿势的一致性和真实性。

表 2. THG 性能对比

表 2 展示了 OmniTalker 在视觉生成方面的卓越性能。我们的方法在 9 个核心指标中,有 7 个达到了业界领先水平(SOTA),包括最高的 PSNR 和 SSIM,以及最低的 FID 和 FVD。

这些结果表明,我们的方法在视频生成质量方面具有显著优势。尤其在 E-FID 和 P-FID 上,我们的方法相比现有技术实现了一个数量级的提升,突显了其在保持面部运动风格和头部姿态方面的出色能力。这种能力使得我们的方法能够有效地继承参考人物的说话风格,从而实现高保真的音视频克隆。尽管我们的方法在 CSIM 和 Sync-C 指标上获得了次优成绩,但根据我们的经验观察,这些指标倾向于偏好正面视角的视频。相比之下,其他对比方法更倾向于生成正面视角的内容,而忽略了参考视频中实际的面部朝向。我们的方法通过准确捕捉并再现原始视频中的面部方向,提供了更加真实和自然的输出效果。

为了更直观地展示 OmniTalker 建模面部运动风格方面的卓越能力,我们对比了不同方法生成结果中的头部运动累积热图。如图 4 所示,通过将生成的视频与参考视频进行比较,可以清晰地看到,我们的方法生成的热图与真实数据的热图更为接近。图 3 则从时间维度进一步验证了这一点,我们选择头部偏航角(Yaw)作为跟踪指标来观察头部姿态的变化。左侧的红线代表参考序列,右侧展示了由各种方法生成的序列。结果显示,我们方法生成的序列无论是在幅度还是运动频率方面,都与参考序列保持了高度的一致性,同时保留了必要的自然差异,这表明我们的方法能够有效地继承头部姿态的风格特征。相比之下,其他方法生成的头部运动往往不够明显,缺乏动态变化。特别是 StyleTalk 方法直接复制参考姿势序列,虽然保证了与参考姿势的高度一致,但未能考虑语音内容与姿态之间的语义关联,导致生成结果缺乏灵活性和自然感。

综上所述,我们的方法不仅能够在视觉表现上精确模仿原始视频中的面部运动风格,还能在语义层面上实现更加丰富和自然的表现,确保生成的内容既真实又生动。

图 3. 头部姿态(Yaw)时间变化曲线

图 4. 头部运动累积热图

在实时性方面,我们的方法通过创新地采用 flow matching 技术以及相对紧凑的模型架构(仅包含 8 亿个参数),实现了音视频的实时同步高质量输出。这不仅保证了出色的推理速度,同时也确保了输出的质量优于其他现有方法,如表 2 所示。这种能力使得我们的方法在不牺牲输出质量的前提下,满足了实时应用的需求。

团队介绍

阿里巴巴通义实验室的 HumanAIGC 团队专注于 2D 数字人和人物视频生成的研究,在相关领域内已发表了多篇顶会论文,比如单图驱动角色视频生成 Animate Anyone 以及 Animate Anyone2,单图语音驱动视频生成技术 EMO 以及 EMO2,实时数字人 ChatAnyone 等均出自该团队。

© THE END

转载请联系本公众号获得授权

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-04-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
混元视频:大型视频生成模型的系统框架
视频生成技术的最新进展极大地改变了个人与行业日常生活的面貌。然而,主流的视频生成模型仍为闭源,导致行业与公众社区在视频生成能力上存在显著的性能差异。在本报告中,我们提出了HunyuanVideo,这是一种新型开源视频基础模型,其视频生成性能可与主流闭源模型相媲美,甚至更优。HunyuanVideo具有一个综合框架,整合了多项关键贡献,包括数据整理、先进架构设计、渐进式模型缩放与训练,以及为大规模模型训练和推理设计的高效基础设施。凭借这些,我们成功训练了一个参数超过130亿的视频生成模型,成为所有开源模型中的最大模型。我们进行了广泛的实验并实施了一系列有针对性的设计,以确保高视觉质量、运动动态、文本-视频对齐和先进的拍摄技术。根据专业人工评价结果,HunyuanVideo的性能优于先前的最先进模型,包括Runway Gen-3、Luma 1.6和3个表现最佳的中国视频生成模型。通过发布基础模型及其应用的代码,我们旨在弥合闭源与开源社区之间的鸿沟。这一举措将使社区中的每个人都能够对自己的想法进行实验,从而培育一个更具活力和动态的视频生成生态系统。代码已公开发布在https://github.com/Tencent/HunyuanVideo。
AI浩
2024/12/19
5200
混元视频:大型视频生成模型的系统框架
霉霉开口唱碧昂丝的歌,又是AI!口型不出戏,五官姿态也自然,复旦百度等出品|GitHub揽星1k+
不论是说话还是唱歌,都能和各种风格的人像相匹配。从口型到眉毛眼睛动作,各种五官细节都很自然。
量子位
2024/06/18
1340
霉霉开口唱碧昂丝的歌,又是AI!口型不出戏,五官姿态也自然,复旦百度等出品|GitHub揽星1k+
声临其境:清华大学和字节跳动提出Neural Dubber神经网络配音器,有望让影视后期效率倍增
机器之心发布 机器之心编辑部 清华大学和字节跳动智能创作语音团队业内首次提出神经网络配音器,让 AI 根据配音脚本,自动生成与画面节奏同步的高质量配音。 影视配音是一项技术含量很高的专业技能。专业配音演员的声音演绎往往让人印象深刻。现在,AI 也有望自动实现这种能力。 近期,清华大学和字节跳动智能创作语音团队业内首次提出了神经网络配音器(Neural Dubber)。这项研究能让 AI 根据配音脚本,自动生成与画面节奏同步的高质量配音。相关论文 Neural Dubber: Dubbing for Vid
机器之心
2023/03/29
8570
声临其境:清华大学和字节跳动提出Neural Dubber神经网络配音器,有望让影视后期效率倍增
阿里最新图生视频模型效果好得可比肩 Sora,但 0 代码“假”开源让国内外网友骂翻了天?
近日,阿里巴巴集团智能计算研究院上线了一款 AI 图生视频模型 EMO(Emote Portrait Alive)。据悉,EMO 是一种富有表现力的音频驱动型肖像视频生成框架,用户用户只需要提供一张照片和一段任意音频文件,EMO 即可生成具有丰富面部表情和多种头部姿态的语音头像视频。此外,EMO 还可以根据输入音频的长度生成任意长度的视频。
深度学习与Python
2024/03/07
4490
阿里最新图生视频模型效果好得可比肩 Sora,但 0 代码“假”开源让国内外网友骂翻了天?
HumanDiT 姿势引导框架来袭,支持多分辨率,长序列视频生成精准又高保真 !
近年来,生成逼真的人类运动视频受到了广泛关注,特别是在生成式人工智能的进步之后。与图像生成相比,视频生成面临更大的挑战,因为它不仅需要高质量的视觉效果,还需要帧与帧之间平滑的时间一致性,以保持视觉连贯性[68]。虚拟人类、动画电影和沉浸式体验等应用推动了可靠、高质量运动视频生成方法的需求。
AIGC 先锋科技
2025/03/17
2360
HumanDiT 姿势引导框架来袭,支持多分辨率,长序列视频生成精准又高保真 !
多模态大语言模型框架:攻克电影配音难题,多数据集指标显著超越现有最优方法!
配音涉及为视频中的对话添加正确的人类声音,确保与角色的唇部动作同步,并传达场景中的情感。它在电影、电视、动画和游戏中发挥着至关重要的作用,增强了沉浸感,并有效传达情感和氛围。现有的配音方法可以分为两类,这两类都专注于学习不同风格的关键先验信息以生成高质量的声音。第一类专注于学习有效的说话人风格表示[7, 15, 23, 60]。第二类旨在利用给定视频输入的视觉信息来学习适当的韵律[15, 25, 37, 70]。然而,这些先验信息的准确性不足以满足现实场景中电影配音的需求。例如,针对不同类型(如对话、旁白和独白)以及细粒度属性(如期望的年龄和性别)的自适应配音尚未得到充分研究[17, 25]。
AIGC 先锋科技
2025/05/22
1180
多模态大语言模型框架:攻克电影配音难题,多数据集指标显著超越现有最优方法!
腾讯混元视频生成工具全新开源
今天,我们正式推出并开源全新的多模态定制化视频生成工具HunyuanCustom。
腾讯开源
2025/05/10
3000
腾讯混元视频生成工具全新开源
基于扩散模型的音频驱动说话人生成,云从&上交数字人研究入选ICASSP 2023
近日,国际语音及信号处理领域顶级会议 ICASSP2023 在希腊成功举办。大会邀请了全球范围内各大研究机构、专家学者以及等谷歌、苹果华为、Meta AI、等知名企业近 4000 人共襄盛会,探讨技术、产业发展趋势,交流最新成果。
机器之心
2023/08/07
5870
基于扩散模型的音频驱动说话人生成,云从&上交数字人研究入选ICASSP 2023
音视频技术开发周刊 | 247
每周一期,纵览音视频技术领域的干货。 新闻投稿:contribute@livevideostack.com。 QoS和QoE初学者指南 本篇文章从宏观角度向大家介绍QoS和QoE。我会先从它们的定义开始,然后讨论它们之间的关联。接着,我们再来简单了解公司如何衡量和使用QoS和QoE。 视频修复:无监督流对齐的序列对序列学习方法S2SVR(ICML 2022) 本文将 Seq2Seq 的架构引入到了视频超分中,其次针对光流不准的问题,之前的文章选择使用DCN进行替代,本篇论文『Unsupervised F
LiveVideoStack
2022/05/30
8210
音视频技术开发周刊 | 247
音视频技术开发周刊 | 274
每周一期,纵览音视频技术领域的干货。 新闻投稿:contribute@livevideostack.com。 ---- 「紧急通知」LiveVideoStackCon 2022 音视频技术大会北京站改期 各位LVSer们: 因疫情影响,北京近期不再允许举办大型线下活动,我们无奈且抱歉的通知大家LiveVideoStackCon 2022音视频技术大会北京站大会将暂停举办,延期至2023年第一季度召开,具体时间待疫情稳定允许后再另行通知。我们感谢所有为此次大会付出时间和努力的伙伴们,相见是肯定的,非常情况下
LiveVideoStack
2023/04/04
6880
音视频技术开发周刊 | 274
一张图即出AI视频!谷歌全新扩散模型,让人物动起来
近日,来自谷歌的研究人员发布了多模态扩散模型VLOGGER,让我们朝着虚拟数字人又迈进了一步。
新智元
2024/03/29
2940
一张图即出AI视频!谷歌全新扩散模型,让人物动起来
一张照片、一段声音秒生超逼真视频!南大等提出全新框架,口型动作精准还原
生成的讲话动画不但口型和音频能够无缝对齐,面部表情和头部姿势都非常自然而且有表现力。
新智元
2023/12/14
6700
一张照片、一段声音秒生超逼真视频!南大等提出全新框架,口型动作精准还原
阿里5.2kStar给Sora配音的EMO音视频项目开源了
阿里EMO项目开源了,但是是PPT!!!但在其项目页面仍然是一个不错的表现。
疯狂的KK
2024/03/07
5020
阿里5.2kStar给Sora配音的EMO音视频项目开源了
DiT架构大一统:一个框架集成图像、视频、音频和3D生成,可编辑、能试玩
今年 2 月初,Sora 的发布让 AI 社区更加看到了基础扩散模型的潜力。连同以往出现的 Stable Diffusion、PixArt-α 和 PixArt-Σ,这些模型在生成真实图像和视频方面取得了显著的成功。这意味着开始了从经典 U-Net 架构到基于 Transformer 的扩散主干架构的范式转变。
机器之心
2024/05/14
1K0
DiT架构大一统:一个框架集成图像、视频、音频和3D生成,可编辑、能试玩
音视频开发之旅(72)- AI数字人-照片说话之SadTalker
AI数字人目前做的最好的无疑是heygen,但是费用也是很贵,也有一些其他的商业应用,比如:微软小冰、腾讯智影、万兴播爆和硅基智能等。
音视频开发之旅
2024/03/02
6860
VBench直接干到了第一!这一次,视频生成「压番」全场的是家央企
OpenAI 在 2 月发布 Sora 后,至今还是期货,但国内科技界迅速跟进,几乎月月有战报。
机器之心
2025/02/14
1610
VBench直接干到了第一!这一次,视频生成「压番」全场的是家央企
音视频基础概念合集:148 个问题带你快速上车音视频丨音视频基础
音视频是一个有一定技术门槛的垂直领域,对于前端、iOS/Android 客户端、服务端开发同学来说,这都是一个不错的职业发展方向。对于刚开始接触音视频开发的同学,最头疼的问题应该是音视频纷繁庞杂的概念,如果删繁就简,音视频生产及消费的核心环节其实只有:采集(声音和图像的数字化) → 编码(压缩数据便于存储和传输) → 封装(按格式封装便于控制音视频的展现) → 传输(用于网络) → 解封装(封装的逆过程) → 解码(编码的逆过程) → 渲染(声音和图像的展现)。
关键帧
2022/06/13
1.3K0
音视频基础概念合集:148 个问题带你快速上车音视频丨音视频基础
9家AI相关公司获融资;3大科技巨头被曝将面临反垄断调查;Vidu重大更新,生成32秒视频,支持音视频合成丨AI情报局
透彻未来宣布完成近亿元A+轮融资:透彻未来致力于使用大数据及人工智能为病理图像提供的智能判别、诊断、预测,并提供最优化的解决方案。本轮融资由邦勤资本、中科天使领投,老股东启明创投、KIP资本、RY投资跟投。
AI科技评论
2024/06/17
1680
9家AI相关公司获融资;3大科技巨头被曝将面临反垄断调查;Vidu重大更新,生成32秒视频,支持音视频合成丨AI情报局
顶级视频生成大模型分析:Seedance 1.0 Pro (字节跳动) - 新晋榜首
2025年,AI视频生成技术迎来了前所未有的发展高峰。从2024年2月OpenAI发布Sora开始,到如今的百花齐放,这个领域正在以前所未有的速度发展。目前市场上已有超过20款主流视频生成大模型,技术水平参差不齐,但顶级模型的能力已经接近专业级别。
蓝葛亮
2025/06/12
4700
顶级视频生成大模型分析:Seedance 1.0 Pro (字节跳动) - 新晋榜首
音视频技术开发周刊 | 234
每周一期,纵览音视频技术领域的干货。 新闻投稿:contribute@livevideostack.com。 视频图像色彩增强的主要方法与落地实践 色彩增强作为视频后处理中画质增强技术的一部分,配合视频降噪,暗光增强,对比度调整,边缘增强等技术,可以对视频画质起到较大的提升作用。 26 fps 的视频超分辨率模型 DAP!在线输出720P视频 不同于现阶段VSR的两大热点研究方向:真实世界/盲VSR、VSR与传输,本文作者在实时在线领域超分方向实现突破,这与IPRRN一文的出发点类似。本文DAP的效果堪比
LiveVideoStack
2022/03/04
7620
推荐阅读
混元视频:大型视频生成模型的系统框架
5200
霉霉开口唱碧昂丝的歌,又是AI!口型不出戏,五官姿态也自然,复旦百度等出品|GitHub揽星1k+
1340
声临其境:清华大学和字节跳动提出Neural Dubber神经网络配音器,有望让影视后期效率倍增
8570
阿里最新图生视频模型效果好得可比肩 Sora,但 0 代码“假”开源让国内外网友骂翻了天?
4490
HumanDiT 姿势引导框架来袭,支持多分辨率,长序列视频生成精准又高保真 !
2360
多模态大语言模型框架:攻克电影配音难题,多数据集指标显著超越现有最优方法!
1180
腾讯混元视频生成工具全新开源
3000
基于扩散模型的音频驱动说话人生成,云从&上交数字人研究入选ICASSP 2023
5870
音视频技术开发周刊 | 247
8210
音视频技术开发周刊 | 274
6880
一张图即出AI视频!谷歌全新扩散模型,让人物动起来
2940
一张照片、一段声音秒生超逼真视频!南大等提出全新框架,口型动作精准还原
6700
阿里5.2kStar给Sora配音的EMO音视频项目开源了
5020
DiT架构大一统:一个框架集成图像、视频、音频和3D生成,可编辑、能试玩
1K0
音视频开发之旅(72)- AI数字人-照片说话之SadTalker
6860
VBench直接干到了第一!这一次,视频生成「压番」全场的是家央企
1610
音视频基础概念合集:148 个问题带你快速上车音视频丨音视频基础
1.3K0
9家AI相关公司获融资;3大科技巨头被曝将面临反垄断调查;Vidu重大更新,生成32秒视频,支持音视频合成丨AI情报局
1680
顶级视频生成大模型分析:Seedance 1.0 Pro (字节跳动) - 新晋榜首
4700
音视频技术开发周刊 | 234
7620
相关推荐
混元视频:大型视频生成模型的系统框架
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档