文档中心>向量数据库>SDK 参考>Java SDK>Document 操作>稠密向量与稀疏向量高阶混合检索

稠密向量与稀疏向量高阶混合检索

最近更新时间:2024-09-29 15:47:41

我的收藏

接口定义

public SearchRes hybridSearch(@NotNull HybridSearchParam param)

使用示例

说明:
配置了 Embedding规则的集合,暂不支持使用稀疏向量与稠密向量的混合检索。
稀疏向量相似度计算方法仅支持 IP 和 COSINE两种。
在使用不同编程语言的软件开发工具包(SDK)进行文本拆分时,由于底层分词工具的不同,可能会导致拆分参数和结果的微小差异。例如,在Python SDK中,用户可以选择使用PaddlePaddle的分词库来执行文本拆分,而其他语言的SDK可能暂时不支持这种特定的分词库。
// link database
Database db = client.database("db-test");
// link collection
Collection collection = db.collection("book-vector");
SparseVectorBm25Encoder encoder = SparseVectorBm25Encoder.getBm25Encoder("zh"); HybridSearchParam hybridSearchParam = HybridSearchParam.newBuilder() .withAnn(Arrays.asList(AnnOption.newBuilder().withFieldName("vector") .withData((Arrays.asList(0.3123, 0.43, 0.213))) .build())) .withMatch(Arrays.asList(MatchOption.newBuilder().withFieldName("sparse_vector") .withData(encoder.encodeQueries(Arrays.asList("正大光明,忠良善果弥深"))) .build())) // 指定 Top K 的 K 值 .withRerank(new WeightRerankParam(Arrays.asList("vector","sparse_vector"), Arrays.asList(0.9, 0.1))) .withLimit(1) .withRetrieveVector(true) .build(); List<List<Document>> siDocs = collection.hybridSearch(hybridSearchParam).getDocuments(); int i = 0; for (List<Document> docs : siDocs) { System.out.println("\\tres: " + i++); for (Document doc : docs) { System.out.println("\\tres: " + doc.toString()); } }

入参描述

参数
是否必选
参数含义
配置方法及要求
Ann
设置向量检索信息
FieldName:检索的字段名,可以设置为:vectors。
Data:检索的向量列表,当仅支持输入一个向量。
DocumentIds:检索字段为id,则该参数指定具体的 ID,仅支持输入一个。
Params:检索参数,与索引类型相关。
HNSW 类型:需配置参数 ef,指定需要访问向量的数目。取值范围[1,32768],默认为10。
IVF 系列:需设置参数 nprobe ,指定所需查询的单位数量。取值范围[1,nlist],其中 nlist 在创建 Collection 时已设置。
Match
稀疏向量检索配置。
FieldName:稀疏向量的字段名,例如:sparse_vector。
Data:检索的稀疏向量列表,当仅支持输入一个稀疏向量。
Limit:指定返回的数量。
Rerank
检索中重排序(rerank)的配置。
参数 Method 指定 Rerank 的方法,枚举如下值:
WeightRerankParam:基于不同字段的加权组合来进行排序。
fieldList:列出用于加权计算的字段列表。例如,field_list=: ['vector', 'sparse_vector']表示密集型与稀疏型加权计算。
weight:定义了 "field_list" 中每个字段的权重,例如,weight=[0.9, 0.1]表示"vector" 字段的权重是 0.9,"sparse_vector" 字段的权重是 0.1。
RRFRerankParam:一种融合多个搜索方法的排名结果,通过为每个文档分配倒数排名分数并合并这些分数来生成一个新的综合排名,从而提高搜索结果的准确性和相关度。rrfk 是用于计算倒数排名分数的常数,其作用是调整分数计算公式,以控制排名分数的分布。例如:.withRerank(new RRFRerankParam(1))

RetrieveVector

标识是否需要返回检索结果的向量值。
取值如下所示:
true:需要。
false:不需要。默认为 false。
Limit
指定返回最相似的 Top K 的 K 的值。
大于等于 0 的正整数。
Filter
设置 Filter 表达式,过滤所需的数据。
使用创建 CollectionView 指定的 Filter 索引的字段设置查询过滤表达式。Filter 表达式格式为 <field_name><operator><value>,多个表达式之间支持 and(与)、or(或)、not(非)关系。具体信息,请参见 混合检索。其中:
<field_name>:表示要过滤的字段名。
<operator>:表示要使用的运算符。
string :匹配单个字符串值(=)、排除单个字符串值(!=)、匹配任意一个字符串值(in)、排除所有字符串值(not in)。其对应的 Value 必须使用英文双引号括起来。
uint64:大于(>)、大于等于(>=)、等于(=)、小于(<)、小于等于(<=)。例如:expired_time > 1623388524。
array:数组类型,包含数组元素之一(include)、排除数组元素之一(exclude)、全包含数组元素(include all)。例如,name include (\\"Bob\\", \\"Jack\\")。
<value>:表示要匹配的值。
示例:Filter('author="jerry"').And('page>20')
OutputFields
配置需返回的字段。
以数组形式配置需返回的字段。若不配置,返回所有字段。
说明:
OutputFields RetrieveVector 参数均可以配置是否输出向量值,二者任意一个配置需输出向量字段,则将输出向量字段。

出参描述

res: 0
res: {"id":"0001","vector":[0.21230000257492065,0.20999999344348907,0.21299999952316284],"sparse_vector":[[2,0.96],[5,0.53],[100,0.443]],"score":0.18177326023578644,"page":21,"author":"罗贯中","tags":["曹操","诸葛亮","刘备"],"bookName":"三国演义"}
参数名
参数含义
id
Document 的 ID 信息。
vector
Document 的向量值。
score
表示查询向量与检索结果向量之间的相似性计算分数。
author、page、section
Document 其他自定义的标量字段。