相似性检索文件内容

最近更新时间:2024-07-03 15:28:31

我的收藏

功能介绍

Search() 接口用于在指定的文件内,查找与给定文本信息相似的 Top K 条文本信息。
支持指定文件名称检索最相似的文本信息。
支持文件名搭配文件元数据的标量字段的 Filter 表达式检索最相似的文本信息。
支持仅使用文件元数据的标量字段的 Filter 表达式检索最相似的文本信息。

请求示例

根据文件名搭配 Filter 检索相似数据
根据 Filter 表达式检索相似数据
如下示例,在文件tcvdb.md中,相似性检索与什么是向量数据库相似的文本信息,并使用标量字段 author_name 的 Filter 表达式的文本信息。
var (
ctx = context.Background()
aiDatabase = "go-sdk-test-ai-db"
collectionViewName = "go-sdk-test-ai-coll"
)

col := client.AIDatabase(aiDatabase).CollectionView(collectionViewName)
searchRes, _ := col.Search(ctx, tcvectordb.SearchAIDocumentSetsParams{
Content: "什么是向量数据库",
DocumentSetName: []string{"tcvdb.md"},
Filter: tcvectordb.NewFilter(`author_name="sam"`),
Limit: 3, // 指定 Top K 的 K 值
ExpandChunk: []int{1,1},
})
for _, doc := range searchRes.Documents {
log.Printf("document: %+v", doc)
}
如下示例,通过文件 meta 信息的标量字段 author 的 Filter 表达式,检索与什么是向量数据库相似的文本信息。
var (
ctx = context.Background()
aiDatabase = "go-sdk-test-ai-db"
collectionViewName = "go-sdk-test-ai-coll"
)

col := client.AIDatabase(aiDatabase).CollectionView(collectionViewName)
searchRes, _ := col.Search(ctx, tcvectordb.SearchAIDocumentSetsParams{
Content: "什么是向量数据库",
Filter: tcvectordb.NewFilter(`author_name="sam"`),
Limit: 3, // 指定 Top K 的 K 值
ExpandChunk: []int{1,1},
})
for _, doc := range searchRes.Documents {
log.Printf("document: %+v", doc)
}
参数名称
是否必选
参数含义及配置方法
Content
以 String 类型输入检索的文本信息。
ExpandChunk
以数组形式配置检索的目标信息所需向前扩展的段落数量以及向后扩展的段落数。例如,输入[2,3],指所检索到的 Chunk 返回时,同时返回其之前的 2个段落与之后的3个段落。
段落指文件在上传存储时,自动向量化拆分的段落。
默认值:[1,1]。
DocumentSetName
表示要查询的文档的名称,支持批量查询,数组元素范围[1,20]。
Filter
使用创建 CollectionView 指定的 Filter 索引的字段设置查询过滤表达式。Filter 表达式格式为 <field_name><operator><value>,多个表达式之间支持 and(与)、or(或)、not(非)关系。具体信息,请参见 混合检索。其中:
<field_name>:表示要过滤的字段名。
<operator>:表示要使用的运算符。
string :匹配单个字符串值(=)、排除单个字符串值(!=)、匹配任意一个字符串值(in)、排除所有字符串值(not in)。其对应的 Value 必须使用英文双引号括起来。
uint64:大于(>)、大于等于(>=)、等于(=)、小于(<)、小于等于(<=)。例如:expired_time > 1623388524。
array:数组类型,包含数组元素之一(include)、排除数组元素之一(exclude)、全包含数组元素(include all)。例如,name include (\\"Bob\\", \\"Jack\\")。
<value>:表示要匹配的值。
示例:Filter('author="jerry"').And('page>20')。
Limit
指定返回最相似的 Top K 的 K 的值。

返回信息

{DatabaseName:go-sdk-test-ai-db CollectionViewName:go-sdk-test-ai-coll DocumentSetId:1186989568189****** DocumentSetName:tcvdb.md Score:0.8791403770446777 SearchData:{Text:### 腾讯云向量数据库是什么?
腾讯云向量数据库是一款全托管的自研企业级分布式数据库服务,专用于存储、检索、分析多维向量数据。该数据库 支持多种索引类型和相似度计算方法,单索引支持10亿级向量规模,可支持百万级 QPS 及毫秒级查询延迟。腾讯 云向量数据库不仅能为大模型提供外部知识库,提高大模型回答的准确性,还可广泛应用于推荐系统、NLP 服务、 计算机视觉、智能客服等 AI 领域。

StartPos:865 EndPos:1061 Pre:[## 腾讯云向量数据库
本页面旨在通过回答几个问题来让您大致了解腾讯云向量数据库(Tencent Cloud VectorDB)。读完本页后, 您将了解腾讯云向量数据库是什么、它是如何工作的、关键概念、为什么使用腾讯云向量数据库、支持的索引和指 标、架构和相关连接方式。

] Next:[### 关键概念
如果您不熟悉向量数据库和相似性搜索领域,请优先阅读以下基本概念,便于您对向量数据库有一个初步的了解。更 多名词解释,请阅读 关键概念。

]} ScalarFields:map[author_name:sam fileKey:1024]}
/Users/liuqingsong/go/src/vectordb/vectordatabase-sdk-go/test/aidb_test.go:213: document: {DatabaseName:go-sdk-test-ai-db CollectionViewName:go-sdk-test-ai-coll DocumentSetId:1186989568189****** DocumentSetName:tcvdb.md Score:0.8646935820579529 SearchData:{Text:#### 什么是向量检索?
向量检索是将向量与数据库进行比较以查找与查询向量最相似的向量的过程。相似的向量通常具有相近的原始数据,
通过向量检索可以挖掘出原始非结构化数据之间的联系。

StartPos:1439 EndPos:1532 Pre:[#### 什么是 AI 中的向量表示?
当我们处理非结构化数据时,需要将其转换为计算机可以理解和处理的形式。向量表示是一种将非结构化数据转换为 嵌入向量的技术,通过多维度向量数值表述某个对象或事物的属性或者特征。腾讯云向量数据库提供的模型能力,目 前在开发调试中。具体上线时间,请关注 产品动态。

] Next:[### 为什么是腾讯云向量数据库?
腾讯云向量数据库作为一种专门存储和检索向量数据的服务提供给用户, 在高性能、高可用、大规模、低成本、简 单易用、稳定可靠、智能运维等方面体现出显著优势。 具体信息,请参见 产品优势 。

]} ScalarFields:map[author_name:sam fileKey:1024]}
/Users/liuqingsong/go/src/vectordb/vectordatabase-sdk-go/test/aidb_test.go:213: document: {DatabaseName:go-sdk-test-ai-db CollectionViewName:go-sdk-test-ai-coll DocumentSetId:1186989568189****** DocumentSetName:tcvdb.md Score:0.8587197065353394 SearchData:{Text:### 为什么是腾讯云向量数据库?
腾讯云向量数据库作为一种专门存储和检索向量数据的服务提供给用户, 在高性能、高可用、大规模、低成本、简 单易用、稳定可靠、智能运维等方面体现出显著优势。 具体信息,请参见 产品优势 。

StartPos:1532 EndPos:1644 Pre:[#### 什么是向量检索?
向量检索是将向量与数据库进行比较以查找与查询向量最相似的向量的过程。相似的向量通常具有相近的原始数据,
通过向量检索可以挖掘出原始非结构化数据之间的联系。

] Next:[### 腾讯云向量数据库应用示例有哪些?

腾讯云向量数据库可进行高性能向量存储和检索,主要适用于以下应用场景。
大规模知识库 :企业的私域数据存储在向量数据库中可构建外部知识库,帮助企业更好地管理和利用自己的数据
资源。
推荐系统 :向量数据库会基于用户特征进行向量存储与检索,并返回与用户可能感兴趣的物品作为推荐结果。
问答系统 :向量数据库会基于问题信息进行向量存储与检索,并返回最相关的问题与对应的答案。
文本/图像检索 :向量数据库对输入的图像和文本信息进行向量存储与检索,会找到最匹配输入信息的文本或图 像结果。

]} ScalarFields:map[author_name:sam fileKey:1024]}
参数名
子参数
参数含义
Score
-
表示查询向量与检索结果向量之间的相似性计算分数。
SearchData
Text
检索的结果。
endPos
检索结果在文件中偏移的结束位置。
startPos
检索结果在文件中偏移的起始位置。
next
根据检索时,设置的参数 chunkExpand,返回检索结果向后扩展的段落。
pre
根据检索时,设置的参数 chunkExpand,返回检索结果向前扩展的段落。
documentSet
documentSetId
文件 ID。
documentSetName
文件名。
ScalarFields
自定义的文件 Meta 信息的标量字段。例如:author、bookName、page 等。
说明:
显示创建 CollectionView 时设置为 Filter 索引的字段,同时显示上传文件时或使用 update 新增的字段,但新增的字段不会构建索引。