腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

生成式AI革新多模态信息检索

利用生成式AI进行多模态信息检索过去十年的大部分时间里，机器学习严重依赖于嵌入的概念：模型学习将输入数据转换为向量，使得向量空间内的几何关系具有语义含义。嵌入概念意味着一个明显的信息检索范式：查询被嵌入到表示空间中，模型选择嵌入最接近它的响应。这也适用于多模态信息检索，因为文本和图像可以被嵌入到同一个空间。然而，最近生成式AI主导了机器学习研究。我们的模型被命名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。然而，现有的生成方法通常是特定于任务的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。因此，它代表了生成式多模态检索领域的重要进展。FINISHED

2026-02-01

3460

标签:

生成式AI革新多模态信息检索技术

这种嵌入概念意味着一种直观的信息检索范式：查询被嵌入到表示空间中，模型选择其嵌入与之最接近的响应。这同样适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间中。该模型名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。 GENIUS与局限于单模态任务或特定基准的先前的尝试不同，GENIUS可推广到文本、图像和图文对的检索，同时保持高速度和有竞争力的准确性。因此，它代表了生成式多模态检索领域的重要一步。

2025-12-17

5500

标签:

生成式AI革新多模态信息检索技术

嵌入概念意味着一个直观的信息检索范式：查询被嵌入到表示空间中，模型会选择嵌入最接近它的响应。这也适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间。我们的模型名为GENIUS（意为生成式通用多模态搜索），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。 GENIUS与仅限于单模态任务或特定基准的先前方法不同，GENIUS可推广到文本、图像和图文对的检索，同时保持高速度和有竞争力的准确性。因此，它代表了生成式多模态检索的重大进步。研究领域搜索与信息检索标签生成式AI关于作者Sungyeon Kim 是浦项科技大学（POSTECH）计算机视觉实验室的博士后研究员。

2026-01-09

4960

标签:

生成式AI实现多模态信息检索技术突破

利用生成式AI进行多模态信息检索过去十年间，机器学习主要依赖嵌入概念：模型学习将输入数据转换为向量，使得向量空间中的几何关系具有语义含义。例如，嵌入表示相近的词语可能具有相似含义。这种嵌入概念催生了明显的信息检索范式：将查询嵌入表示空间，模型选择嵌入最接近的响应。这也适用于多模态信息检索，因为文本和图像可以嵌入同一空间。我们的模型名为GENIUS（通用多模态搜索生成框架），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。然而，现有的生成方法通常是任务特定的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。因此，它代表了生成式多模态检索的重要进展。

2025-10-12

5490

标签:

生成式AI实现多模态信息检索新突破

多模态检索的范式革新过去十年间，机器学习主要依赖嵌入技术——将输入数据转换为向量，使向量空间中的几何关系反映语义关联。传统检索方式需计算查询向量与所有候选向量的相似度，当面对海量数据时效率低下。查询增强技术undefined通过在表征空间对查询-ID对进行插值，生成多样化训练样本，使模型能适应新型数据分布，显著提升泛化能力。性能突破在M-BEIR基准测试中：文本到图像检索任务（COCO数据集）Recall@5指标超越现有生成式方法28.6分结合嵌入重排序后，性能差距较传统方法缩小31%-56%检索速度不受数据库规模影响，索引构建成本降低 90%系统架构预训练阶段undefined独立训练图像和文本编码器对比学习阶段undefined残差量化模块学习生成层级编码推理阶段undefined基于Trie树结构约束输出序列，确保生成有效ID该技术已应用于某机构搜索系统，在十亿级数据规模下保持毫秒级响应，为跨模态检索提供高效解决方案。

2025-08-04

4120

标签:

生成式AI实现多模态信息检索新突破

多模态信息检索的生成式革新过去十年间，机器学习（ML）严重依赖嵌入（embedding）概念：模型将输入数据转换为向量，使向量空间中的几何关系具有语义含义。例如，嵌入位置相近的单词可能含义相似。这种范式下的信息检索流程是：将查询嵌入表示空间，模型选择与之最接近的嵌入作为响应。多模态检索也遵循此模式，文本和图像可嵌入同一空间。然而随着生成式AI的兴起，传统检索方式面临革新。在2025年计算机视觉与模式识别会议（CVPR）上提出的GENIUS框架（通用多模态搜索生成框架），实现了生成式AI时代的信息检索突破。该模型支持图像、文本及图文对的任意组合输入输出。嵌入检索(a)需逐项比对查询与候选向量，而生成式检索(b/c)直接生成唯一ID。GENIUS(c)的首位ID码标识输出模态。（免索引构建、恒定检索时间）的同时，将生成式与嵌入式方法的性能差距缩小到可接受范围，标志着多模态检索领域的重大进步。

2025-08-04

6390

标签:

剑桥 | 发布多模态检索器，赋能多模态大模型RAG应用

PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。图 1：GPT4-Vision 在 PreFLMR 多模态知识检索器的帮助下可以获得相关知识，生成正确的答案。图中展示了模型的真实输出。针对这个问题，检索增强生成（RAG，Retrieval-Augmented Generation）提供了一个简单有效的让多模态大模型成为” 领域专家” 的方案：首先，一个轻量的知识检索器（Knowledge 尤其是在多模态任务中，用户的问询（Query）包含复杂场景信息，压缩至一维向量极大抑制了特征的表达能力。PreFLMR 继承并改进了 FLMR 的结构，使其在多模态知识检索中有得天独厚的优势。实验结果表明对于后期交互多模态检索系统，增加视觉编码器的参数带来的回报更大。

2024-03-26

7850

标签:

RAG系统如何支持多模态检索？图文检索如何实现？

二、什么是多模态检索？多模态检索（MultimodalRetrieval）是指系统能够处理多种数据类型（如文本、图像、音频、视频等），并将它们映射到统一的向量空间，实现跨模态的相似度匹配。多模态检索的三种模式：检索模式查询类型返回类型应用场景文查图文本图像"找一件红色连衣裙"图查文图像文本上传图片找商品描述图查图图像图像找相似款式三、多模态检索如何工作跨模态对齐：从对比学习到统一空间实现跨模态对齐的关键技术是对比学习：图像编码比文本编码消耗更多资源五、多模态检索的实际应用与发展趋势实际应用场景1.电商商品搜索场景：用户上传一张衣服图片，找相似商品工作流程：用户上传图片CLIP图像编码器生成512维向量在向量库中检索相似商品图片未来展望：多模态大模型与RAG深度结合：现在的CLIP主要做语义对齐，但推理能力有限。像GPT-4V这种视觉语言模型出现后，我们可以把检索和生成更紧密地结合，从单纯的检索走向理解+生成的完整链路。跨语言多模态检索：支持不同语言的文本和图像进行跨语言、跨模态的检索。比如用中文描述检索英文商品图片，或者用日文描述检索中文设计素材。

2026-03-25

1.1K0

标签:

自然语言处理

大模型部署

以深度场景适配推动业务增长：多模态增强检索生成应用解决方案

多模态增强检索生成应用解决方案聚焦上述社会需求，将大模型与企业业务流程相结合，让大模型从泛化通用转向垂直精耕，精准实现业务场景赋能。方案概述多模态增强检索生成应用解决方案整合企业业务数据资源，以多种成熟开源大模型为基座，引接专项任务模型，从业务需求角度出发，针对特定类型视频、图像等模态，完成检测、跟踪、对象识别、场景识别、关键信息抽取等增量训练，由通过轻量化部署接入企业现有业务流程，使企业借助多模态语义知识库系统、跨模态解析等复合能力获取场景级解决方案。流量运营方案建设数据中台，支持多模态内容标签识别、信息精准拆解和内容深度理解，唤醒沉睡的内容，知识利用效率提升200%；通过数据接口，与用户展开跨模态智能对话问答，将数据能力服务化。多模态增强检索生成应用解决方案从业务场景出发，通过模型选型、微调训练、功能部署等方式，让AI技术嵌入业务链条，实现了技术赋能到价值创造的跨越。

2026-01-05

3070

标签:

大模型部署

KDD Cup 2020 多模态检索赛道：数据分析

近期对图像检索颇为感兴趣，正巧看到今年KDD Cup赛题中有两道都是它相关的，借着这次机会学习学习。本赛题使用淘宝APP的真实场景多模态数据，数据集由淘宝搜索查询和产品图像特征组成，组织成基于查询的多模态检索任务。需要注意本次赛题不是文本匹配任务，而关注跨模态的检索过程，因此不会给出商品的原始文字描述。本赛题主要考察跨模态的检索检索任务，而且数据量非常大，需要选手通过query文本检索到商品，具体使用检索指标进行量化： (1) 这一题典型的跨模态检索任务，由于测试集中每个query会给出可能的30个商品，因此也可以使用多模态匹配的方法。

2020-04-17

1.6K0

标签: