余弦相似度与Okapi BM25有何不同？
余弦相似度和Okapi BM25是信息检索领域中常用的两种相似度计算方法，它们在计算相似度的方式和应用场景上有所不同。
- 余弦相似度（Cosine Similarity）： 余弦相似度是一种衡量两个向量之间夹角的相似度计算方法。在信息检索中，通常将文档表示为向量，其中每个维度表示一个特征或者词项的权重。余弦相似度通过计算两个向量之间的夹角的余弦值来衡量它们的相似程度。余弦相似度的取值范围在[-1, 1]之间，值越接近1表示两个向量越相似，值越接近-1表示两个向量越不相似。
应用场景：余弦相似度常用于文本相似度计算、推荐系统、聚类分析等领域。
推荐的腾讯云相关产品：腾讯云自然语言处理（NLP）服务，提供了文本相似度计算的API接口，可以方便地进行余弦相似度的计算。产品介绍链接：https://cloud.tencent.com/product/nlp
- Okapi BM25： Okapi BM25是一种基于词频和文档长度的信息检索算法，用于计算查询词与文档之间的相关性得分。它考虑了查询词在文档中的频率、文档长度以及词项在整个文档集合中的分布情况。BM25通过对文档中的每个词项进行加权，计算查询与文档之间的相关性得分，得分越高表示相关性越强。
应用场景：Okapi BM25常用于搜索引擎、文本检索等领域，用于衡量查询与文档之间的相关性。
推荐的腾讯云相关产品：腾讯云搜索（Cloud Search）服务，提供了全文搜索和检索的能力，支持使用BM25算法进行相关性计算。产品介绍链接：https://cloud.tencent.com/product/cs
总结： 余弦相似度和Okapi BM25是两种常用的相似度计算方法，它们在计算方式和应用场景上有所不同。余弦相似度主要用于衡量向量之间的夹角，常用于文本相似度计算和推荐系统；而Okapi BM25则是一种基于词频和文档长度的算法，用于衡量查询与文档之间的相关性得分，常用于搜索引擎和文本检索。腾讯云提供了相应的自然语言处理和搜索服务，方便开发者进行相似度计算和相关性搜索的应用。
相关·内容
1回答
BM25使用查询协调器吗？
、、、、
在Lucene的实际评分功能中，有一个查询协调器，它惩罚不匹配所有查询项的文档。Okapi BM25也使用同样的技巧吗？
我之所以对此感到好奇，是因为我使用了带有BM25相似模块的Elasticsearch，有时我觉得这个算法不喜欢有更多匹配的文档。有些情况下，一个文档包含一个或两个术语很多，超过一个包含所有查询条件的文档。
浏览 0提问于2018-06-09得票数 1
回答已采纳
1回答
我试图建立一个搜索系统，然后我了解了Okapi bm25，这是一个排序功能，像tf-以色列国防军。您可以对您的语料库进行索引，并在以后检索类似于查询的文档。
我导入了一个python库 rank_bm25并创建了一个搜索系统，结果令人满意。
然后我看到了一个叫非度量空间库的东西。我知道它是一个相似的搜索库，很像kNN算法。
我看到一个例子，一个人试图制造一个智能搜索系统在使用nmslib。他做了以下事情：-
标记文件
将标记传递到fastText模型以创建单词向量
然后将这些词向量与bm25权重结合起来。
然后将该组合传递给nmslib。
进行了搜查。
如果上面的链接没有打开文档，只需在匿名模
浏览 0提问于2021-02-16得票数 1
回答已采纳
我用Gensim在语料库上训练了一个LDA模型。现在我已经有了每个文档的主题分布，如何比较两个文档在主题中的相似程度？我想要一个简要的措施。例如，以下是两个文档的主题分布。总共有75个主题。为了简洁起见，我只展示了概率最大的前10个主题(因此主题不太合适)。(40，0.5523168)表示主题#40对于DOC #1的概率为0.5523168。我应该计算两个向量之间的欧几里德距离还是余弦距离？使用这个概括度量，我是否可以说，例如，DOC 1比DOC2更类似于DOC3，或者DOC1和DOC 2在局部上比DOC 3和DOC 4更相似？谢谢!
DOC #1:
[(40, 0.5523168), (60
浏览 2提问于2019-03-22得票数 4
回答已采纳
在我开始之前，我真的不知道Elastic是什么以及它是如何工作的。我是ML工程师，最近被分配了Image - Image similarity的任务。我开发了一个模型，它将为每个图像提供一个向量，然后我必须比较该模型(如Manhattan, Euclidean, cosine etc )提供的向量之间的距离。我可以很容易地做到这一点，但问题是，我有大约200M图像的巨大数据，我不能将所有的向量存储在内存中，即使我这样做了，我也几乎不可能与每个单元进行比较，因为这将是O(12M)比较。 所以我想知道，有没有向量搜索的算法，像Okapi BM25这样的文本搜索算法。 我的向量看起来像：[0.2,
浏览 27提问于2020-12-30得票数 0
1回答
我想为在google上搜索的搜索查询计算某种相似度分数。
这意味着，在其他事情中，单词的顺序并不一定重要。例如：
“阿迪达斯蓝色鞋子”和“蓝色鞋子阿迪达斯”
应该被认为是完全相同的序列，而我认为在许多传统的距离算法中并非如此。
我猜上面的例子可以用余弦相似度解决，但如果我有：
“蓝色阿迪达斯鞋”
我想算法产生一个非常相似的距离，原来的“”阿迪达斯鞋蓝色“
这样的算法存在吗？
浏览 0提问于2017-07-03得票数 0
1回答
句子转换器如何预测新实例
、、、、
我正在探索句子转换器，并偶然发现了这个。它展示了如何对我们的自定义数据进行培训。但我不知道该怎么预测。如果有两个新句子，如1)这是第三个例子，2)这是第三个例子。我怎么能预测到这些句子有多相似呢？
from sentence_transformers import SentenceTransformer, InputExample, losses
from torch.utils.data import DataLoader
#Define the model. Either from scratch of by loading a pre-trained model
model = Sen
浏览 1提问于2022-01-04得票数 2
我使用如下的most_similar()方法来获取与给定单词相似的所有单词：
word,score= model.most_similar('apple',topn=sizeofdict)
AFAIK，它的作用是计算给定单词和字典中所有其他单词之间的余弦相似度。当我检查单词和分数时，我可以看到列表中有负分数的单词。这是什么意思？它们是与给定单词具有相反含义的单词吗？
另外，如果它使用余弦相似度，它是如何得到负值的？对于两个文档，余弦相似度在0-1之间变化。
浏览 2提问于2016-01-19得票数 5
1回答
两个文档之间的不同特征
、、、
我试图找出这两份文件之间的不同之处。我正在使用gensim，到目前为止已经获得了相似度分数。
有没有办法知道两个文档之间的相异分数和相异特征？如何评估它？
浏览 1提问于2018-07-03得票数 0
为什么LP-空间规范化被用于Mahout VectorNormMapper的项目相似性。还读过2的范数对CosineSimilarity很有用。
是否有一个直观的解释，为什么它被使用，以及如何才能确定权力的最佳价值为给定的相似性类。
浏览 2提问于2014-04-10得票数 0
回答已采纳
1回答
基于内容的推荐可能吗？
、、、
我在探索基于内容的算法，所以我了解到基于内容的算法是用来计算项目和用户之间的相似度的，就像"pandora“一样。所以我的要求是我有100的比例，例如用户可以喜欢40%的蔬菜和60%的非蔬菜，有喜欢/不喜欢的比例，项目也会有蔬菜，非蔬菜属性。是否可以计算用户偏好比例和项目的相似度，或者是否有符合我需求的算法或帮助我的文档？
提前感谢
浏览 2提问于2015-07-23得票数 0
1回答
我的问题是关于这个问题的理论，而不一定是语法。
我想知道这里是否有人有自动化HTS (协调税表)分类的经验，特别是训练分类器来预测应该分配给产品的HTS代码？这些指定的规则存储为“解释”产品的描述性文本数据。在我看来，这使得预测一个部分将如何被分类变得非常困难。
就上下文而言，NLP似乎大量地参与了这一过程，但由于这些描述涉及高度基数，而且从一种描述到另一种描述的重叠程度很高，是否有任何最佳做法来成功地进行这样的预测？同样，我也很难找到任何关于这件事的公开研究。看来，在这方面几乎所有的进展都是在公司的闭门造车的情况下进行的。我理解他们为什么会做出这样的决定，但我感到惊讶的是，考虑到它对全球范围
浏览 0提问于2019-11-04得票数 1
我正在通过以下代码创建一个数据集： from lightfm.data import Dataset
from lightfm import LightFM
dataset = Dataset()
dataset.fit((row['id'] for row in user_queryset.values()),
(row['id'] for row in item_queryset.values()))
num_users, num_items = dataset.interactions_shape()
(intera
浏览 37提问于2019-02-17得票数 2
回答已采纳
1回答
我使用spark的word2vec算法来计算文本的文档向量。
然后，我使用模型对象的findSynonyms函数来获得几个单词的同义词。
我看到的是这样的东西：
w2vmodel.findSynonyms('science',4).show(5)
+------------+------------------+
| word| similarity|
+------------+------------------+
| physics| 1.714908638833209|
| fiction|1.5189824643358183
浏览 0提问于2016-12-29得票数 6
我试图找出两个文档，即'document_1‘和'document_2’之间的相似性。我正在使用Doc2Vec Gensim的来寻找相似性评分。
score = model.docvecs.similarity_unseen_docs(trainedModel, document_1, document_2)
print(score)
分数为负值的地方。
这里，document_1和document_2是NLTK的word_tokenize()的结果。
当我们试图找出两个"tokenized“文档之间的相似性时，负分数意味着什么？
P.S:对模型进行了10个文档(每个2
浏览 2提问于2019-11-15得票数 0
我正在尝试在每一行的多个单词中做一些模式‘挖掘’。我已经使用perl中的Text::Ngrams模块进行了N元语法分析，它给出了每个单词的频率。然而，我对这篇文章中的发现模式感到相当困惑。
我猜tf-idf也能找到频率，但这与我做的Ngram分析有什么不同，相似性度量也有什么帮助。
有没有什么perl模块或代码片段可以让我理解其中的一些概念。
请我是一个物理背景，但必须做一些模式识别，所以我是一个新的一些，在这个主题上的一个很好的参考将不胜感激。
浏览 0提问于2011-06-27得票数 0
回答已采纳
我使用k-means对归一化数据进行聚类。我使用了不同的相似度矩阵，如欧几里得、曼哈顿和余弦，当我使用余弦相似度时，Dunn指数为负值。我读到过邓恩指数的取值范围从0到无穷大。使用余弦相似度计算Dunn指数是正确的吗？ 我用过this implementation of Dunn Index。
浏览 94提问于2019-06-12得票数 1
回答已采纳
我正在尝试在python中实现Okapi BM25。虽然我已经看过一些教程如何做，但我似乎被困在了这个过程中。
因此，我收集了文档(并有列'id‘和'text')和查询(并且有列'id’和'text')。我已经完成了预处理步骤，我将我的文档和查询作为一个列表：
documents = list(train_docs['text']) #put the documents text to list
queries = list(train_queries_all['text']) #put the
浏览 2提问于2020-05-18得票数 1
回答已采纳
1回答
我计算基于余弦相似度的tf-idf矩阵：
tfidf_vectorizer_desc = TfidfVectorizer(min_df=5, max_df=0.8, use_idf=True, smooth_idf=True, sublinear_tf=False, tokenizer=tokenize_and_stem)
%time tfidf_matrix_desc = tfidf_vectorizer_desc.fit_transform(descriptions) #fit the vectorizer to text
sim_desc = cosine_similarity(tfid
浏览 4提问于2016-06-14得票数 0
我们通常将词嵌入之间的相似度与余弦相似度进行比较，但这只考虑了向量之间的角度，而不是范数。对于word2vec，随着单词在更多的上下文中使用，向量的范数会减少。因此，停用词接近于0，并且非常独特，高意义的词往往是大的向量。BERT是上下文敏感的，所以这个解释并不完全涵盖BERT嵌入。有没有人知道矢量震级对BERT有什么意义？
浏览 1提问于2019-07-23得票数 4
我们使用Java中的Lucene搜索文档，并找出它们是否相关。我们用6种不同的方式进行搜索：
VSM与Porter词干器和停止词的相似性
VSM与Porter词干机的相似性和无止词
VSM与标准词干和停止词的相似性
BM25与波特词干器和停止词的相似性
BM25与波特词干机的相似性与无止词
BM25与标准词干词和停止词的相似性
搜索配置3和6的结果相同，配置1、2、4和5的结果也相同。这表明，只有更改分析器(词干分析器)才能改变任何事情。
我们尝试过调试它，以检查对象是否是我们所期望的对象，但是所有的事情似乎都是正常的--只是对象的行为与我们所希望的不同。我们还
浏览 2提问于2016-04-22得票数 1
回答已采纳
在数学中，向量具有大小和方向。
在数据科学中，为了识别文档的相似性，我们将文档转换为特征向量。然后应用源文档与目标文档特征向量之间的余弦角公式。
然而，余弦公式仅适用于向量。一个矢量应该有两个震级和方向。对于表示为向量的文档，方向在哪里？
浏览 0提问于2020-05-17得票数 1
1回答
我使用表示产品用户购买行为的IndexedRowMatrix，为了构建产品推荐，我使用余弦相似度来计算产品之间的相似性。PySpark提供了一个名为columnSimilarities()的函数。
我的问题是，在使用columnSimilarities()之前，是否需要规范每个产品的向量？我读过关于归一化和余弦相似的文章，并且理解余弦相似已经对向量进行了归一化，就好像我们把向量规范化了一样，余弦相似性就是这两个向量的点乘积。参考文献
另外，余弦相似度与点积的距离度量问题中的一个答案表明，Sometimes it is desirable to ignore the magnitude, hen
浏览 0提问于2018-11-19得票数 3
我有一个程序，可以从互联网上提取地址，并将其与数据库进行核对。它很有用，但我现在正在尝试引入一个相似性函数，将互联网上的地址与我数据库中的地址进行比较。
我使用下面的脚本来检查余弦相似度如何比较地址：
import string
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import CountVectorizer
addresses = [
'705 Sherlock House, 221B Baker Street, London NW
浏览 3提问于2020-05-24得票数 0
他们的目标都是一样的:找到相似的向量。在哪种情况下你会使用哪一种？(有什么实际的例子吗？)
浏览 12提问于2009-12-03得票数 48
回答已采纳
1回答
在NLP中，通常情况下，特征的维度非常大。例如，对于手头的一个项目，特征的维度几乎是20,000 (p = 20,000)，并且每个特征都是一个0-1整数，以显示论文中是否存在特定的单词或二元语法(一篇论文是R^{p}$中的数据点$x \)。
我知道特征之间的冗余度很大，所以降维是必要的。我有三个问题：
1)我有10,000个数据点(n = 10,000)，每个数据点有10,000个特征(p = 10,000)。进行降维的有效方法是什么？R^{n \x p}$中的矩阵奇异值分解( $X )是如此之大，以至于主成分分析(或奇异值分解，截断奇异值分解)都可以，但我不认为奇异值分解是降低二进制特征维
浏览 13提问于2014-11-21得票数 6
我有2个文档X和Y。如果用户搜索单词"Computer“，并且我想显示基于关键字"Computer”的最相关的文档。我的算法根据关键词在文档中出现的次数来选择最相关的文档。唯一的问题是文档X有10个单词，"Computer“出现两次，而文档Y有1000个单词，"Computer”出现100次。从文档中的字数来看，说文档Y比文档X更相关是不正确的。
如何对此进行规范化，以获得最准确的相关文档。
浏览 8提问于2016-01-09得票数 0
1回答
我在数据库中有记录(行)，并且我想标识类似的记录。我有一个使用余弦相似度的约束。如果变量(属性、列)的类型不同，并以以下形式出现：
[number] [number] [boolean] [20 words string]
如何进行矢量化以应用余弦相似度？对于字符串，我可以使用简单的tf-idf。但是对于数字和布尔值呢？如何将这些结合起来呢？我的想法是向量应该是1+1+1+20长度。但是，仅仅将记录的数字转换为矢量中的系数，并将它们与字符串的tf-idf连接以计算余弦相似度，在语义上是“有效的”吗？或者，我可以将数字视为单词，并将tf-idf应用于数字。有没有其他的技术？
浏览 5提问于2013-03-20得票数 1
在信息检索或答疑系统中，我们使用TD-以色列国防军或BM25计算问题对相似度作为深度学习的基线或粗排序。
在社区问答中，我们已经有了问答对来收集一些统计信息。如果没有深入的学习，我们能发明一种像BM25这样的算法来计算问题答案对的关联分数吗？
浏览 0提问于2019-09-18得票数 0
回答已采纳
1回答
我正在使用tf.losses.cosine_distance(Y, outputs, axis=2, reduction=tf.losses.Reduction.MEAN)来衡量我的标签和预测之间的差异。张量形状为[batch_size, sequence_length, embedding]。在我的例子中，预测的形状是[16311, 20, 100]。
我的结果如下。
----------------------epoch1----------------------
train 1 loss 1.1429076
----------------------epoch2----------
浏览 0提问于2019-05-29得票数 1
1回答
假设我有使用余弦相似度检索页面的搜索引擎。但是，没有国防军的部分，只有tf。如果我为余弦的公式添加Page。公式可能会从一个语料库变成另一个语料库？
例子-
语料库A-医生A，B医生->A和B之间有一条线。
语料库A-医生B ->A和B之间有一条线。
B页的分数对身体来说会有所不同吗？
谢谢。
浏览 0提问于2018-01-22得票数 0
1回答
NLP如何获取两个文档之间的差异
、、、、
我有2个文档A-B (或2系列文档)，我想要一个新的文档来显示这两个文档之间的差异: A-B
根据不同，有几种定义，一种是:单词列表/“概念”包括在A中但不包括在B中。
我正在考虑对A和B的每个句子使用TF IDF，例如：
from sklearn.feature_extraction.text import TfidfVectorizer
d1 = [open(f1) for f1 in text_files]
tfidf = TfidfVectorizer().fit_transform(d1)
pairwise_similarity = tfidf * tfidf.T
我不确定这是否与生
浏览 0提问于2016-06-08得票数 0
2回答
我正在尝试构建一个使用协作过滤的推荐系统。
我有用户项数据集.我无法找到相似的用户之间的相似性，因为我不能使用欧几里德/余弦距离将无法在这里工作。，如果我将分类变量转换为0，1，则无法计算距离。请您在python中提出处理分类数据的推荐算法，好吗？
浏览 7提问于2019-10-14得票数 0
1回答
我是Pytorch和RNN的新手。我正在学习如何使用RNN预测数字，作为视频中的教程：
在他的代码中，他使用python 3并进行如下解码：
out_unembedded = out.view(-1, hidden_size) @ embedding.weight.transpose(0,1)
我正在使用Python 2，并尝试以下代码：
out_unembedded = out.view(-1, hidden_size).dot( embedding.weight.transpose(0,1))
但它似乎不正确，然后我尝试这样解码：
import torch
import torch.nn
浏览 0提问于2018-01-02得票数 1
假设我有两个文档，A和B，每个文档有两个版本，1和2。我计算(A1，A2)和(B1，B2)的余弦相似度。设Sa =余弦(A1，A2)，Sb =余弦(B1，B2)。
如果Sa < Sb，我可以说文档A比文档B有更大的变化或更新吗？
一篇论文指出：“一对文档越长，两个文档中包含一个单词的可能性就越大，导致文档不同的可能性较低(有关分析证据，请参阅附录B)。”论文可以在上找到。
这是真的吗？由于词汇表的大小有限，这一说法对于Jaccard相似性可能是正确的。但是，余弦相似性是一个角度，从直觉上讲，文档的长度并不重要。如果这是真的，那么调整长度的相似性分数的最佳方法是什么，以便我可以在不同的文档
浏览 0提问于2019-05-05得票数 0
假设我在一家公司的年报中有一个语料库，显示了他们4个行业的收入数据:汽车、半导体、绿色能源和医疗保健。对于人类来说，找到一个特定行业的收入数据并不难。如果我使用NLP将其自动化，这样我就不必阅读它，那么NLP是否可能将正确的收入数据与一个特定的行业相匹配？
我使用NLP进行情感分析、主题建模和文本生成。但这些似乎都与上面的应用程序无关。有什么想法吗？我可以在哪个库中使用什么函数？
浏览 1提问于2020-04-10得票数 0
我训练了一个使用三重态损失的暹罗神经网络。这很痛苦，但我想我成功了。然而，我很难理解如何用这个模型来进行评估。
SNN：
def triplet_loss(y_true, y_pred):
margin = K.constant(1)
return K.mean(K.maximum(K.constant(0), K.square(y_pred[:,0]) - 0.5*(K.square(y_pred[:,1])+K.square(y_pred[:,2])) + margin))
def euclidean_distance(vects):
x, y = vects
浏览 12提问于2022-04-22得票数 6
回答已采纳
1回答
我已经建立了一个自动编码器从一个非常高的维度(200维)空间提取一个更小但重要的表示(16个维度)。
现在我有了这些“编码”向量，我想要计算某种相似的分数，或者聚类。
我不知道在这一点上适用哪一种距离概念。考虑到我使用了自动编码器，我有什么想法可以得到相似/聚类吗？
浏览 0提问于2019-07-08得票数 1
回答已采纳
1回答
我用sklearn.metrics.pairwise中的cosine_similarity计算了一个余弦相似度矩阵。 Matrix:
2414514 413915 419480 473104 534621 609406 654913 654914 \
2414514 1.000000 0.0 0.0 0.0 0.0 0.0 0.755929 0.755929
413915 0.000000 1.0 0.0 0.0 0.0 1.0 0.000000 0.00000
浏览 9提问于2019-04-02得票数 0
2回答
我有一个计算两个矩阵之间余弦相似度的代码：
def cos_cdist_1(matrix, vector):
v = vector.reshape(1, -1)
return sp.distance.cdist(matrix, v, 'cosine').reshape(-1)
def cos_cdist_2(matrix1, matrix2):
return sp.distance.cdist(matrix1, matrix2, 'cosine').reshape(-1)
list1 = [[1,1,1],[1,2,1]]
list
浏览 1提问于2015-05-10得票数 5
Stanford提供了NERs来检测POS标签和NERs。但是当我试图分析的时候，我正面临一个问题。这句话如下：
Joseph E. Seagram & Sons, INC said on Thursday that it is merging its two United States based wine companies
下面是我的代码
st = StanfordNERTagger('./stanford- ner/classifiers/english.all.3class.distsim.crf.ser.gz',
浏览 3提问于2018-06-07得票数 1
回答已采纳
2回答
特定主题语言模型的评价
、、、
我已经在我的自定义数据集上完成了一个预先训练过的语言模型(GPT-2)。我希望有一种方法来评估我的模型生成特定预定义主题的句子的能力，以单个关键字的形式给出。“计算机”)或一袋袋单词(如：“计算机”、“Linux”、“服务器”.)
例如，给定LM，模型的输出与单词计算机指定的主题有多大的关系？
我已经尝试过的是:从LM生成足够多的句子，并将这些句子与目标主题(或主题中的每一个单词，我们有多个单词)之间的平均余弦相似度作为这里描述。我不确定这是否是一种有效的方法，而且句子之间的余弦相似性在很多情况下也会产生很差的结果。
提前感谢您的帮助。
浏览 0提问于2020-10-02得票数 2
回答已采纳
基因similar_by_word函数的相似性是多少？
我在这里读到了基因similar_by_word函数：
similar_by_word函数返回一个序列(word，相似性)。这里的相似性定义是什么?它是如何计算的？
浏览 0提问于2019-02-11得票数 0
回答已采纳
2回答
我的目标是通过从列表中取一个值来计算f列表(f=[[3492.6], [13756.2], [22442.1], [22361.9], [26896.4]])中每个值的余弦相似度，并计算列表中其他值与之的余弦距离有多近。因此，结果应该是五个不同的相似性分数。然而，由于某些原因，即使当我在其他数据集上测试代码时，我也一直将1.0作为余弦相似度。显然，与[13756.2]相比，[22361.9]更类似于[22442.1] (相对于距离)。参见下面的代码；
import numpy.linalg as LA
import numpy as np
import sys
f=[[3492.6], [1
浏览 0提问于2013-07-29得票数 3
1回答
我们有一个很大的表(>30M行)，其中包含公司名称和其他特征。
数据：
Company_id Type Name Adress (more...)
497651684 8 Big mall Toys'rUs BigMall adress
468468486 1 McDonnnals WhateverStreet
161684314 8 Toys R Us Another street
546846846 1 BgKing BigMall2 ad
浏览 3提问于2014-12-12得票数 0
看起来，两个特征的余弦相似性仅仅是它们的点乘积，它们的大小的乘积。余弦相似性是什么时候比点积更好的距离度量？也就是说，在不同的情况下，圆点乘积和余弦相似性是否有不同的优缺点？
浏览 0提问于2014-07-15得票数 80
回答已采纳
我的任务是创建一个工具，它将能够找到文章--给定参考文章的副本。我知道词向量化(tf，word2vec)，RNN方法，但我不能选择适合我的情况的东西。
我的要求：
数据是动态收集的(程序解析来自网站的文章，所以我没有包含文本收集的常规数据库)
有一个参考文本，其副本需要找到。
复制可以是复制的，也可以是部分复制的(按段落)，也可以是被转述的。
参考-vs-拷贝比较算法更好，但不需要(而不是参考-vs-军团)
算法不应该做深度语义分析，只做字数计算、字向量化、子串搜索。
相反，我可以使用一组herurisitcs算法。
算法可以做错误的判断。
我想出了这样的想法：
下载预先训练过的word2ve
浏览 0提问于2019-02-19得票数 1
回答已采纳
对于我们正在做的事情，我们正在寻找一种简单的方法来比较审查/反馈数据与一个问题(对于这个问题有来自多个人的多个答复)，如下：
他们说的是什么共同的东西(定义为短语/句子)(如果可能的话，也可以用某种方式来量化共性)。关键是要找出他们的审查似乎是一致的领域。
什么是不常见的事情(basically...what是那些被告知非常不常见的断句/短语)
哪里有分歧(即在答复之间是否有可能存在分歧的句子/短语)
目标是找到一个简单的解决方案，而不一定是模型驱动的(缺乏数据)。Also...it需要对这个time...as进行定向，目的是证明它可以工作，并能产生合理的结果。
有什么建议吗？
非常感谢！
P
浏览 0提问于2020-03-31得票数 1
2回答
我一直在试图理解谷歌的语义体验的概念。通过使用它，我计划实现一个语义查询工具。
使用通用句子编码器，我可以先对所有句子进行预编码，然后把它们放到数据库中.当用户想要执行查询时，输入也将转换为512维向量，我们将通过比较余弦相似度(选择最高相似度向量)对整个数据库执行顺序搜索。但这太慢了..。
幸运的是，在他们的语义体验页面上，他们写了以下内容：
通用语句编码器模型非常类似于我们在对图书和Semantris的对话中使用的方法，尽管这些应用程序使用的是双编码器方法，它最大限度地提高了响应相关性，而通用语句编码器是一个为输入返回嵌入的编码器，而不是输入对上的分数。
将句子转换为嵌入向量的一种更简单的
浏览 0提问于2018-11-26得票数 1
我发现gensim有BM25排名功能。但是，我找不到如何使用它的教程。
在我的例子中，我有一个查询。从搜索引擎检索到的一些文档。如何使用gensim BM 25排名来比较查询和文档，以找到最相似的？
我刚接触gensim。谢谢。
查询：
"experimental studies of creep buckling ."
文档1：
" the 7 x 7 in . hypersonic wind tunnel at rae farnborough, part 1, design, instrumentation and flow visualization techni
浏览 1提问于2016-12-05得票数 21
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
