腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

多模态很简单，搞懂多模态，站在 AI 发展的最前沿

AI 也是一样的！现实世界的信息是多模态的（Multi-Modal），比如：视频 = 图像+声音+文本字幕自动驾驶 = 摄像头+激光雷达+毫米波雷达+GPS医疗AI = X光片+病历文本+基因数据多模态融合（Multi-Modal 今天，我们就来深入拆解多模态融合的奥秘！多模态到底是什么？ “模态” 就是信息的不同形式，比如：举个例子️：你在看一部电影，如果只看画面没声音，体验是不是很割裂？所以，多模态融合就是让AI像人一样，把各种信息整合在一起，提高理解能力！多模态融合有哪些方式？多模态融合一般分三大类：1️⃣ 早期融合（Early Fusion）—— 数据级融合特点：在模型输入阶段，先把所有模态的数据合并成一个大“拼盘”，然后喂给模型。

本草音乐实验室

2025-07-29

1.5K0

标签:

多模态AI与视觉语言模型

多模态AI正是这一方向的核心技术，CLIP、DALL-E、GPT-4V等模型的出现标志着我们进入了多模态智能的新时代。对比学习的重要性对比学习是多模态AI的核心技术。其思想是：将语义相关的样本拉近，将不相关的样本推远。通过自监督的方式从海量图文对中学习，模型获得强大的跨模态理解能力。持续学习：从新的多模态数据中持续学习而不遗忘总结多模态AI代表了人工智能发展的重要方向。通过CLIP等模型的实践，我们看到跨模态理解不仅可行，而且效果惊人。从零样本分类到图像生成，从视觉问答到多模态对话，多模态技术正在不断拓展AI的能力边界。未来，随着模型规模的扩大和训练数据的积累，多模态AI将在更多领域发挥作用，为人机交互带来革命性变化。掌握多模态学习的技术，将帮助读者在AI浪潮中把握机遇，创造更智能的应用。

心疼你的一切

2026-01-21

8580

标签:

通用多模态AI模型的兴起

由于MLLMs旨在学习、推理并根据上下文信息调整其行为——这与人类智力的运作方式非常相似——一些专家也认为，进一步发展多模态AI是迈向人工通用智能 (AGI) 的关键一步。正是由于多模态AI潜在的下游影响，现在人们更加关注构建真正“通用”的多模态AI模型。这种通用多模态模型 (GMMs) 能够轻松地跨不同模态学习，并在面对不同类型任务时适应并表现良好。当前通用多模态AI模型的示例包括： NExT-GPT OneLLM Meta-Transformer OFA+ Unified-IO 基础模型铺平道路当前通向通用多模态模型的轨迹源于预训练的深度学习基础模型同样，基础视觉模型 (FVMs)，例如视觉Transformer (ViT) 和视觉语言对齐模型，例如CLIP 和LLaVA，帮助推动了多模态AI模型的跨模态能力。来自Munikoti等人的“通用多模态AI：架构、挑战和机遇综述” 不同模态的原始数据由输入数据预处理器预处理，将其转换为通用学习模块可以使用的一种形式。

2025-01-08

5630

标签:

生成式AI革新多模态信息检索

利用生成式AI进行多模态信息检索过去十年的大部分时间里，机器学习严重依赖于嵌入的概念：模型学习将输入数据转换为向量，使得向量空间内的几何关系具有语义含义。这也适用于多模态信息检索，因为文本和图像可以被嵌入到同一个空间。然而，最近生成式AI主导了机器学习研究。我们的模型被命名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。然而，现有的生成方法通常是特定于任务的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。因此，它代表了生成式多模态检索领域的重要进展。FINISHED

2026-02-01

2650

标签:

多模态AI技术「涌现」，AI公司的「新机会」

AI的未来范式：多模态多模态并非新概念，早在2018年，“多模态”作为AI未来的一个发展方向，已开始成为业界研究的重点。什么叫“多模态”？举例来说，现在很火的AIGC，可以通过文本生成图像甚至视频，就是多模态AI的一个典型应用。但多模态AI的想象力，远不止于此。虽然AI在多模态方面取得了突破，但这种技术及其应用还不成熟，由多模态AI带来的产业规模升级，还面临重重阻碍。多模态AI的两大挑战：技术、产业链多模态AI探索的是人类行动和感知背后的关系，其蕴含的想象力与应用潜能毋庸置疑。芯片方面，相比于单模态，多模态需要的是庞大的“人工智能算力网络”，单纯的语音芯片、视觉芯片等已很难满足多模态AI算法的需求。

2023-08-26

7820

标签:

【DeepSeek 多模态探索】从文本到图像与语音：解锁 DeepSeek 的多模态 AI 潜力

摘要随着多模态 AI 技术的快速发展，开发者对 DeepSeek 是否能够支持图像、音频等多模态任务充满期待。引言多模态 AI 是当前人工智能领域的重要趋势，它能够同时处理文本、图像、音频等多种数据类型，从而实现更复杂的任务。GPT-4V 等模型已经展示了多模态能力的强大潜力。作为一款强大的 AI 模型，DeepSeek 是否能够支持多模态任务？本文将深入探讨这一问题，并提供相关代码示例。多模态 AI 的背景与意义多模态 AI 的核心在于能够同时处理和理解多种类型的数据（如文本、图像、音频等），从而实现更丰富的应用场景。例如：图像生成：根据文本描述生成图像。跨模态检索：根据文本搜索相关图像或视频。 DeepSeek 作为一个以文本为核心的 AI 模型，是否能够扩展至多模态领域？答案是肯定的，但需要结合其他技术栈来实现。

2025-02-13

3.3K0

标签:

腾讯技术创作特训营S11#重启人生

EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响

Motivation 视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。多模态模型在预测时使用由多模态输入触发的跨模态激活。这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object：在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征。测试的模型显示了vision-for-language，而不是language-for-vision的结果，这一事实可能是多模态任务的积累，因为一些下游多模态任务需要强烈的 vision-for-language ▊ 作者简介研究领域：FightingCV公众号运营者，研究方向为多模态内容理解，专注于解决视觉模态和语言模态相结合的任务，促进Vision-Language模型的实地应用。

2021-09-28

2.7K0

标签:

Wiztalk | 王历伟 Part 1 《多模态交互AI的发展和未来前景—多模态交互AI及例子》

多模态交互AI的发展和未来前景 Part 1 多模态交互AI及例子简介：多模态交互的人工智能，它其实在我们的学习生活中是无处不在的。

腾讯高校合作

2021-03-15

8630

标签:

5个实际开源的多模态AI模型

了解最新的开源多模态AI系统，以下列出了五个领先的选项，包括其功能和用途。多模态AI正吸引着大量关注，这要归功于其诱人的前景：设计用于处理文本、图像、音频和视频组合的AI系统，成为多面手。虽然市场上已经存在许多强大的、专有的多模态AI系统，但小型多模态AI模型和开源替代方案也正在迅速发展，因为用户不断寻求更易访问和更易适应的选项，并优先考虑透明度和协作。为了让您了解最新的开源多模态AI系统，我们将概述一些更受欢迎的选项，包括它们的功能和用途。 1. Leopard旨在解决多模态AI领域的两大挑战，即高质量多图像数据集的稀缺性以及图像分辨率与序列长度之间的平衡。

2025-11-07

2.6K0

标签:

‌Daft：AI驱动的多模态数据融合引擎

一、前言在AI应用快速发展的今天，海量多模态数据的处理已成为构建高质量AI系统的核心挑战。火山引擎推出的LAS Daft数据处理引擎，正是为解决这一难题而设计的创新解决方案。 2.2 AI时代下的技术瓶颈与市场需求 AI 技术的爆发式发展推动数据处理从‌纯文本场景‌向‌文本、图片、音视频等多模态联合场景‌快速演进，多模态数据管理在数据规模、处理复杂度、存储与合规性等方面面临全新挑战资源监控等）保障稳定，最终输出的多模态数据集可直接服务于下游 AI 应用。这种设计让多模态数据在存储层面更高效，为AI模型训练与推理阶段的“数据读取IO速度”需求提供底层支撑，解决传统存储方式下多模态数据处理效率低的问题。综上，Daft与Lance的组合从分布式执行、表达式下推到多模存储，全方位适配AI场景中多模态数据“存储、计算、管理”的技术需求，为AI时代数据湖的建设提供技术范式。

老周聊架构

2025-11-20

2K0

标签: