生成式AI实现多模态信息检索技术突破

利用生成式AI进行多模态信息检索

过去十年间，机器学习主要依赖嵌入概念：模型学习将输入数据转换为向量，使得向量空间中的几何关系具有语义含义。例如，嵌入表示相近的词语可能具有相似含义。这种嵌入概念催生了明显的信息检索范式：将查询嵌入表示空间，模型选择嵌入最接近的响应。这也适用于多模态信息检索，因为文本和图像可以嵌入同一空间。

然而，随着生成式AI主导机器学习研究，我们在2025年计算机视觉与模式识别会议（CVPR）上发表了篇论文，为生成式AI时代更新了基于机器学习的信息检索方法。我们的模型名为GENIUS（通用多模态搜索生成框架），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。

生成式检索的优势

与基于嵌入的检索需要将查询向量与每个可能的响应向量进行比较不同（如果图像目录或文本语料库足够大，这将非常耗时），我们的模型将查询作为输入并生成单个ID代码作为输出。这种方法之前已有尝试，但GENIUS显著改进了先前基于生成的信息检索方法。

在两项不同数据集上使用三种不同指标的测试中，GENIUS在检索一个、五个或十个候选响应时的检索准确率比先前最佳生成检索模型提高了22%至36%。当我们随后使用传统的基于嵌入的方法对顶部生成的响应候选进行重新排序时，性能进一步提高了31%至56%，显著缩小了基于生成的方法与基于嵌入的方法之间的差距。

范式转变

信息检索是从大型数据库中查找相关信息的过程。传统的基于嵌入的检索将查询和数据库项都映射到高维空间，并使用余弦相似度等度量标准来衡量相似性。虽然有效，但随着数据库增长，这些方法面临可扩展性问题，因为索引构建、维护和最近邻搜索的成本不断增加。

生成式检索已成为有前景的替代方案。生成模型不嵌入项目，而是基于查询直接生成目标数据的标识符。这种方法实现了恒定时间检索，无论数据库大小如何。然而，现有的生成方法通常是任务特定的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。

GENIUS的创新

与先前局限于单模态任务或特定基准的方法不同，GENIUS泛化适用于文本、图像和图文对的检索，保持高速度和竞争力准确性。其相对于先前基于生成的模型的优势基于两个关键创新：

语义量化：在训练期间，模型的目标输出ID通过残差量化生成。每个ID实际上是一个代码序列，第一个代码定义数据项的模态——图像、文本或图文对。后续代码更具体地定义数据项在表示空间中的区域：共享第一个代码的项位于同一一般区域；共享前两个代码的项在该区域中更紧密地聚集；共享前三个代码的项更紧密地聚集，依此类推。模型尝试学习从输入编码中复制代码序列。

查询增强：这种方法产生的模型能够为熟悉类型的对象和文本生成准确的ID代码，但可能难以泛化到新数据类型。为了解决这个限制，我们使用查询增强。对于代表性的查询-ID对样本，我们通过在表示空间中的初始查询和目标ID之间插值来生成新查询。这样，模型学习到各种查询可以映射到同一目标，这有助于其泛化。

实验结果

在使用M-BEIR基准的实验中，GENIUS在COCO数据集的文本到图像检索中，Recall@5比最佳生成检索方法高出28.6分。通过基于嵌入的重新排序，GENIUS在M-BEIR基准上通常获得接近基于嵌入基线的结果，同时保留了生成检索的效率优势。

GENIUS在生成方法中实现了最先进的性能，并缩小了生成方法与基于嵌入方法之间的性能差距。随着数据集增长，其效率优势变得更加显著，保持高检索速度，而无需基于嵌入方法典型的昂贵索引构建。因此，它代表了生成式多模态检索的重要进展。