在张量流中实现余弦相似度
是通过计算两个向量之间的余弦夹角来衡量它们之间的相似度。余弦相似度是一种常用的相似度度量方法，可以用于比较文本、图像、音频等多种数据类型。
在张量流中实现余弦相似度的步骤如下：
- 准备数据：首先，需要准备两个向量作为输入数据。这两个向量可以表示文本、图像、音频等数据的特征向量。
- 计算向量的模：对于每个向量，需要计算其模，即向量的长度。可以使用欧几里得范数或者L2范数来计算向量的模。
- 计算向量的内积：将两个向量进行内积运算，得到它们的点积。
- 计算余弦相似度：通过将向量的内积除以它们的模的乘积，可以得到它们之间的余弦相似度。
余弦相似度的取值范围在-1到1之间，值越接近1表示两个向量越相似，值越接近-1表示两个向量越不相似，值为0表示两个向量正交。
在腾讯云的产品中，可以使用腾讯云的AI开放平台提供的人工智能服务来实现余弦相似度计算。具体可以使用腾讯云的自然语言处理（NLP）服务或者图像识别服务来提取文本或图像的特征向量，并进行余弦相似度计算。
腾讯云自然语言处理（NLP）服务链接：https://cloud.tencent.com/product/nlp 腾讯云图像识别服务链接：https://cloud.tencent.com/product/imagerecognition
通过使用腾讯云的AI开放平台提供的服务，可以方便地实现余弦相似度计算，并且腾讯云提供了丰富的API和SDK，支持多种编程语言，如Python、Java、C++等，开发者可以根据自己的需求选择适合的编程语言进行开发。
相关·内容
1回答
我正在使用tf.losses.cosine_distance(Y, outputs, axis=2, reduction=tf.losses.Reduction.MEAN)来衡量我的标签和预测之间的差异。张量形状为[batch_size, sequence_length, embedding]。在我的例子中，预测的形状是[16311, 20, 100]。
我的结果如下。
----------------------epoch1----------------------
train 1 loss 1.1429076
----------------------epoch2----------
浏览 0提问于2019-05-29得票数 1
我有2个文档X和Y。如果用户搜索单词"Computer“，并且我想显示基于关键字"Computer”的最相关的文档。我的算法根据关键词在文档中出现的次数来选择最相关的文档。唯一的问题是文档X有10个单词，"Computer“出现两次，而文档Y有1000个单词，"Computer”出现100次。从文档中的字数来看，说文档Y比文档X更相关是不正确的。
如何对此进行规范化，以获得最准确的相关文档。
浏览 8提问于2016-01-09得票数 0
我有一个这样的张量： tf_a1 = [[-0.65 0. 0. 0. 0.42 0. 0. 0.51 0. 0.34 0.]
[0. -0.51 0. 0. -0.52 0. 0. 0. 0.53 0.42 0.]
[0. 0.32 0. -0.50 0.34 0. 0. 0.39 0.32 0.52 0.]
[0. 0.23 0.37 0. 0. 0.37 0.37 0. 0.47 0.39 0.3 ]] 我
浏览 16提问于2019-08-22得票数 1
回答已采纳
1回答
我目前正在处理的问题是一次获取多幅图像，将它们转换成一个向量，用于计算余弦距离，以得到目录中的图像与另一个目录中的图像之间的相似性。从四周看，我不能使用张量/数组来计算这些距离，但是如果我错了，请纠正我。
下面是我的代码示例：
import numpy as np
import os
import cv2
import glob
from skimage.transform import resize
ImageArray= [cv2.imread(file) for file in glob.glob("Image Directory/**/*.jpg",recursive
浏览 0提问于2022-08-10得票数 0
1回答
我使用spark的word2vec算法来计算文本的文档向量。
然后，我使用模型对象的findSynonyms函数来获得几个单词的同义词。
我看到的是这样的东西：
w2vmodel.findSynonyms('science',4).show(5)
+------------+------------------+
| word| similarity|
+------------+------------------+
| physics| 1.714908638833209|
| fiction|1.5189824643358183
浏览 0提问于2016-12-29得票数 6
1回答
我的同事和我(都是机械工程师)喜欢学习python并解决新的有趣的问题。
我们的问题：，我们希望分析组件的价值流(> 50.000)，并根据它们的价值流的相似性对它们进行分组。
举个例子，假设我们有三种材料A、B和C，它们的数据如下：
A= 610384,521056,112200,194825633，45
B= 10389,462,1028503
C= 10389,462,1028503,112200，45,194825633
每个数组表示一个值流，每个元素表示值流中的每台机器。例如，要生产，必须运行5台以上的机器。"610384“是值流中第一台机器的数目。如您所见，A和B与C
浏览 2提问于2019-11-19得票数 0
在数学中，向量具有大小和方向。
在数据科学中，为了识别文档的相似性，我们将文档转换为特征向量。然后应用源文档与目标文档特征向量之间的余弦角公式。
然而，余弦公式仅适用于向量。一个矢量应该有两个震级和方向。对于表示为向量的文档，方向在哪里？
浏览 0提问于2020-05-17得票数 1
1回答
我想为在google上搜索的搜索查询计算某种相似度分数。
这意味着，在其他事情中，单词的顺序并不一定重要。例如：
“阿迪达斯蓝色鞋子”和“蓝色鞋子阿迪达斯”
应该被认为是完全相同的序列，而我认为在许多传统的距离算法中并非如此。
我猜上面的例子可以用余弦相似度解决，但如果我有：
“蓝色阿迪达斯鞋”
我想算法产生一个非常相似的距离，原来的“”阿迪达斯鞋蓝色“
这样的算法存在吗？
浏览 0提问于2017-07-03得票数 0
我使用如下的most_similar()方法来获取与给定单词相似的所有单词：
word,score= model.most_similar('apple',topn=sizeofdict)
AFAIK，它的作用是计算给定单词和字典中所有其他单词之间的余弦相似度。当我检查单词和分数时，我可以看到列表中有负分数的单词。这是什么意思？它们是与给定单词具有相反含义的单词吗？
另外，如果它使用余弦相似度，它是如何得到负值的？对于两个文档，余弦相似度在0-1之间变化。
浏览 2提问于2016-01-19得票数 5
1回答
两个文档之间的不同特征
、、、
我试图找出这两份文件之间的不同之处。我正在使用gensim，到目前为止已经获得了相似度分数。
有没有办法知道两个文档之间的相异分数和相异特征？如何评估它？
浏览 1提问于2018-07-03得票数 0
我使用k-means对归一化数据进行聚类。我使用了不同的相似度矩阵，如欧几里得、曼哈顿和余弦，当我使用余弦相似度时，Dunn指数为负值。我读到过邓恩指数的取值范围从0到无穷大。使用余弦相似度计算Dunn指数是正确的吗？ 我用过this implementation of Dunn Index。
浏览 94提问于2019-06-12得票数 1
回答已采纳
1回答
我计算基于余弦相似度的tf-idf矩阵：
tfidf_vectorizer_desc = TfidfVectorizer(min_df=5, max_df=0.8, use_idf=True, smooth_idf=True, sublinear_tf=False, tokenizer=tokenize_and_stem)
%time tfidf_matrix_desc = tfidf_vectorizer_desc.fit_transform(descriptions) #fit the vectorizer to text
sim_desc = cosine_similarity(tfid
浏览 4提问于2016-06-14得票数 0
在Mahout中，支持使用API方法进行基于项目的推荐：
ItemBasedRecommender.mostSimilarItems(int productid, int maxResults, Rescorer rescorer)
但是在Spark Mllib中，看起来ALS内部的API可以获取推荐的产品，但userid必须通过以下方式提供：
MatrixFactorizationModel.recommendProducts(int user, int num)
有没有一种方法可以根据类似的产品获得推荐产品，而不需要提供用户id信息，就像mahout执行基于项目的推荐一样。
浏览 1提问于2014-12-18得票数 8
在Apache Spark中，有没有将余弦距离的KMeans应用于Tf-IDF处理的数据帧的工作实现？
Spark，当然在ml库中有欧几里得距离实现，但对于任何其他距离度量都不是这样。
浏览 0提问于2017-06-26得票数 1
最近，我一直在寻找最接近嵌入的词。最值得注意的两种方法是余弦距离或欧几里德距离。
我试图找出如何有效地计算形状[batch_size x embedding_size]张量的余弦距离
一种方法是解压张量并计算余弦距离。
#embedding is shape [vocab_size x embedding size]
array_list = tf.unpack(batch_array)
word_class_list = tf.unpack(embedding)
index_list_of_closest_word = []
for eacharray in array_
浏览 1提问于2016-06-01得票数 11
回答已采纳
假设我有两个文档，A和B，每个文档有两个版本，1和2。我计算(A1，A2)和(B1，B2)的余弦相似度。设Sa =余弦(A1，A2)，Sb =余弦(B1，B2)。
如果Sa < Sb，我可以说文档A比文档B有更大的变化或更新吗？
一篇论文指出：“一对文档越长，两个文档中包含一个单词的可能性就越大，导致文档不同的可能性较低(有关分析证据，请参阅附录B)。”论文可以在上找到。
这是真的吗？由于词汇表的大小有限，这一说法对于Jaccard相似性可能是正确的。但是，余弦相似性是一个角度，从直觉上讲，文档的长度并不重要。如果这是真的，那么调整长度的相似性分数的最佳方法是什么，以便我可以在不同的文档
浏览 0提问于2019-05-05得票数 0
2回答
基本上，我在Python中有一个dict，它使用字符串键和int数组作为值。
dict = {"Option1Results" : [4, 1, 5, 2, 4],
"Option2Results" : [11, 44, 2, 1, 5],
....
}
我想在这个字典上实现基于值的交集的层次聚类。例如，假设Option1Results和Option4Results共享大约70%的相同整数，然后将它们聚集在一起。除了遍历字典并逐个比较值之外，还有什么方法可以做到这一点吗？
浏览 10提问于2017-07-25得票数 1
我正在研究一个非常基本的图书推荐系统。我想知道在找到余弦相似性时，用户没有给它们打分的字段该如何处理，我们应该忽略它们，只用赋值字段计算，或者标记它们为0。
我所遵循的书说，排除字段，因为它会给出错误的解释，在欧几里德和皮尔逊相关的情况下，但在余弦相似的情况下，它使所有的非额定场为0。
有人能解释为什么只对于余弦而不是其他人需要将未分级的字段设置为0，或者有不同的方法来做到这一点。(我知道欧几里德和皮尔逊中的字段0对输出的影响，但不确定余弦)
浏览 0提问于2016-06-12得票数 8
我用Gensim在语料库上训练了一个LDA模型。现在我已经有了每个文档的主题分布，如何比较两个文档在主题中的相似程度？我想要一个简要的措施。例如，以下是两个文档的主题分布。总共有75个主题。为了简洁起见，我只展示了概率最大的前10个主题(因此主题不太合适)。(40，0.5523168)表示主题#40对于DOC #1的概率为0.5523168。我应该计算两个向量之间的欧几里德距离还是余弦距离？使用这个概括度量，我是否可以说，例如，DOC 1比DOC2更类似于DOC3，或者DOC1和DOC 2在局部上比DOC 3和DOC 4更相似？谢谢!
DOC #1:
[(40, 0.5523168), (60
浏览 2提问于2019-03-22得票数 4
回答已采纳
基因similar_by_word函数的相似性是多少？
我在这里读到了基因similar_by_word函数：
similar_by_word函数返回一个序列(word，相似性)。这里的相似性定义是什么?它是如何计算的？
浏览 0提问于2019-02-11得票数 0
回答已采纳
根据我在stackoverflow上找到的几篇文章(例如这个Why does word2Vec use cosine similarity?)，在我们训练了一个word2vec ( CBOW或Skip-gram)模型之后，计算两个词向量之间的余弦相似度是一种常见的做法。然而，这对我来说似乎有点奇怪，因为该模型实际上是用点积作为相似度分数进行训练的。这一点的一个证据是，我们在训练后得到的词向量的范数实际上是有意义的。那么，为什么人们在计算两个单词之间的相似度时仍然使用余弦相似度而不是点积呢？
浏览 132提问于2019-01-29得票数 7
我想要找到一个查询行和另外10个行之间的余弦相似度(或者欧几里得距离，如果更容易)。这些行都是nan值，因此如果列是nan，则忽略它们。
例如，查询：
A B C D E F
3 2 NaN 5 NaN 4
df =
A B C D E F
2 1 3 NaN 4 5
1 NaN 2 4 NaN 3
. . . . . .
. . . . . .
因此，我只想得到查询的每个非空列与df列中的行之间的余弦相似性。因此，对于df中的第0行，B和F在查询和df中都是非空的。
然后，
浏览 0提问于2019-02-11得票数 5
回答已采纳
Stanford提供了NERs来检测POS标签和NERs。但是当我试图分析的时候，我正面临一个问题。这句话如下：
Joseph E. Seagram & Sons, INC said on Thursday that it is merging its two United States based wine companies
下面是我的代码
st = StanfordNERTagger('./stanford- ner/classifiers/english.all.3class.distsim.crf.ser.gz',
浏览 3提问于2018-06-07得票数 1
回答已采纳
1回答
基于内容的推荐可能吗？
、、、
我在探索基于内容的算法，所以我了解到基于内容的算法是用来计算项目和用户之间的相似度的，就像"pandora“一样。所以我的要求是我有100的比例，例如用户可以喜欢40%的蔬菜和60%的非蔬菜，有喜欢/不喜欢的比例，项目也会有蔬菜，非蔬菜属性。是否可以计算用户偏好比例和项目的相似度，或者是否有符合我需求的算法或帮助我的文档？
提前感谢
浏览 2提问于2015-07-23得票数 0
1回答
基于多词相似度的聚类
、、、
我正在尝试实现对银行事务数据的群集。数据集包含关于Vendor和MCC的列，它们是string。这些列中有太多不同的值，我想根据一些指标(如cosine similarity for Vendor or MCC )进行集群。(例如，'Hotel A'和'Hotel B'可以在同一个集群中。)我认为Levenshtein distance是不够的。
我考虑为MCC找到一个语料库，并建立一个模型来查找单词之间的相似性。这个方法对这个问题有好处吗？如果没有，我如何处理这些列？如果是，是否有这样的语料库？
数据源：
浏览 4提问于2020-08-08得票数 0
1回答
句子转换器如何预测新实例
、、、、
我正在探索句子转换器，并偶然发现了这个。它展示了如何对我们的自定义数据进行培训。但我不知道该怎么预测。如果有两个新句子，如1)这是第三个例子，2)这是第三个例子。我怎么能预测到这些句子有多相似呢？
from sentence_transformers import SentenceTransformer, InputExample, losses
from torch.utils.data import DataLoader
#Define the model. Either from scratch of by loading a pre-trained model
model = Sen
浏览 1提问于2022-01-04得票数 2
2回答
我正在学习单词嵌入和余弦相似性。我的数据是由两组相同的词组成的，但用的是两种不同的语言。
我做了两次测试：
我用单词向量的平均值来度量余弦相似度(我认为它应该被称为软余弦相似度)。
我用单词向量测量了余弦的相似性。
我是否应该期望获得同样的结果？我注意到有时我有两个相反的结果。因为我是新来的，所以我想弄清楚我是否做错了什么，或者背后是否有解释。根据我所读到的，软余弦相似度应该比通常的余弦相似度更准确。
现在，是时候给你展示一些数据了。不幸的是，我不能发布我的一部分数据(文字本身)，但我会尽我最大的努力给你的信息，我可以给你。
在此之前的一些其他细节：
我使用FastText
浏览 3提问于2019-07-24得票数 0
回答已采纳
1回答
我已经通过了LSA方法。有人说，LSA可以用于语义分析。但我不明白它在LSA是如何运作的。有人能告诉我LSA是如何处理语义的吗。
浏览 5提问于2014-08-15得票数 1
回答已采纳
我有一个张量'input_sentence_embed‘，形状为torch.Size(1768)
有一个dataframe 'matched_df‘，它看起来像
INCIDENT_NUMBER enc_rep
0 INC000030884498 [[tensor(-0.2556), tensor(0.0188), tensor(0.02...
1 INC000029956111 [[tensor(-0.3115), tensor(0.2535), tensor(0.20..
2 INC0000295553
浏览 0提问于2021-05-23得票数 0
回答已采纳
我正在尝试在每一行的多个单词中做一些模式‘挖掘’。我已经使用perl中的Text::Ngrams模块进行了N元语法分析，它给出了每个单词的频率。然而，我对这篇文章中的发现模式感到相当困惑。
我猜tf-idf也能找到频率，但这与我做的Ngram分析有什么不同，相似性度量也有什么帮助。
有没有什么perl模块或代码片段可以让我理解其中的一些概念。
请我是一个物理背景，但必须做一些模式识别，所以我是一个新的一些，在这个主题上的一个很好的参考将不胜感激。
浏览 0提问于2011-06-27得票数 0
回答已采纳
我试图找出两个文档，即'document_1‘和'document_2’之间的相似性。我正在使用Doc2Vec Gensim的来寻找相似性评分。
score = model.docvecs.similarity_unseen_docs(trainedModel, document_1, document_2)
print(score)
分数为负值的地方。
这里，document_1和document_2是NLTK的word_tokenize()的结果。
当我们试图找出两个"tokenized“文档之间的相似性时，负分数意味着什么？
P.S:对模型进行了10个文档(每个2
浏览 2提问于2019-11-15得票数 0
Scikit-learn的sklearn.metrics.pairwise.cosine_similarity和sklearn.metrics.pairwise.pairwise_distances(..的区别是什么Metric=“余弦”)？
from sklearn.feature_extraction.text import TfidfVectorizer
documents = (
"Macbook Pro 15' Silver Gray with Nvidia GPU",
"Macbook GPU"
)
tfidf_v
浏览 2提问于2016-02-09得票数 7
回答已采纳
1回答
我正在尝试在python/pandas/numpy/sklearn中构建一个基于内容的推荐系统。
下面是所涉及的矩阵及其大小：
X: n_customers * n_features (包含每个客户的功能)
Y: n_customers *n_products (包含每个客户对每个产品的评分)
Theta: n_features * n_products
目的是学习Theta，以便能够预测客户对所有产品(X*Theta)的评分。实际上，Y是一个稀疏矩阵，客户得分只占整个产品数量的很小%。这就是为什么Y包含很多NaN值的原因。
这就是我的问题：
这是一个具有多个目标(这里是target=prod
浏览 1提问于2014-04-12得票数 3
1回答
我使用表示产品用户购买行为的IndexedRowMatrix，为了构建产品推荐，我使用余弦相似度来计算产品之间的相似性。PySpark提供了一个名为columnSimilarities()的函数。
我的问题是，在使用columnSimilarities()之前，是否需要规范每个产品的向量？我读过关于归一化和余弦相似的文章，并且理解余弦相似已经对向量进行了归一化，就好像我们把向量规范化了一样，余弦相似性就是这两个向量的点乘积。参考文献
另外，余弦相似度与点积的距离度量问题中的一个答案表明，Sometimes it is desirable to ignore the magnitude, hen
浏览 0提问于2018-11-19得票数 3
我需要为产品主数据构建一个算法，我不确定最好的NLP方法。场景是：-我有产品黄金记录；-我有许多其他需要协调的产品目录；例如：-产品黄金记录:可口可乐和可口可乐零；-需要进行哈密化的产品描述:可口可乐300ml，可口可乐300毫升，可口可乐零。
我需要一个通过相似度来协调的算法，因为我必须考虑打字错误，有时还需要考虑句子中的产品片段。示例: Coke zero JS MKT (JS和MKT是垃圾，但句子更类似于Coke Zero)。
我一直在测试一些NLP的句子相似度，比如Bag of words，以及阅读其他一些方法，比如Cosine相似度和Levenshtein距离。然而，我不知道对我的情
浏览 14提问于2019-07-31得票数 0
回答已采纳
4回答
我想要创建一个聊天机器人，它告诉用户在街道上的交通情况，但暂时不是实时的。我用MySQL创建了一个小型数据库，其中存储了一些有关流量的数据，并根据用户与聊天机器人的交互情况，在适当的时候使用PHP脚本获取这些数据。
我想知道当用户询问同一个问题的变化时，如何处理这个问题，因此可以用相同的答案来回答。例如：
为什么大街上有车辆？
高街交通的原因是什么？
我为什么在高街遇到交通堵塞？
我在大街上堵车了。为什么会这样呢？
显然，我可以从删除停止词(例如did)、命名实体(例如，公路->大街)、定义同义词和应用文本相似性度量(例如Levenshtein距离等)开始。
然而，如果我这样做的话，我想
浏览 0提问于2018-04-19得票数 4
2回答
我有一个计算两个矩阵之间余弦相似度的代码：
def cos_cdist_1(matrix, vector):
v = vector.reshape(1, -1)
return sp.distance.cdist(matrix, v, 'cosine').reshape(-1)
def cos_cdist_2(matrix1, matrix2):
return sp.distance.cdist(matrix1, matrix2, 'cosine').reshape(-1)
list1 = [[1,1,1],[1,2,1]]
list
浏览 1提问于2015-05-10得票数 5
以下是我的代码
from sklearn.feature_extraction.text import TfidfVectorizer
corpus = [
"this is first document ","this is second document","this is third","which document is first", ]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)
X.toarray()
这
浏览 0提问于2019-12-11得票数 2
1回答
我尝试使用余弦距离()来计算两个单词的相似度。代码如下：
def word2vec(word):
from collections import Counter
from math import sqrt
# count the characters in word
cw = Counter(word)
# precomputes a set of the different characters
sw = set(cw)
# precomputes the "length" of the word vector
浏览 13提问于2020-05-14得票数 0
我有一个程序，可以从互联网上提取地址，并将其与数据库进行核对。它很有用，但我现在正在尝试引入一个相似性函数，将互联网上的地址与我数据库中的地址进行比较。
我使用下面的脚本来检查余弦相似度如何比较地址：
import string
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import CountVectorizer
addresses = [
'705 Sherlock House, 221B Baker Street, London NW
浏览 3提问于2020-05-24得票数 0
1回答
这个问题可能更适合于像cross-validated这样的板，但我在这里请求一些输入。 我正在尝试构建一个粗略的度量标准，以衡量多个维度(或类别)上任何一对对象之间的相似性(例如，它们可以是经济部门GDP的百分比或学生在多个科目中的成绩)。 我脑海中的一些潜在候选者是来自LDA (潜在狄利克雷分配)的潜在主题方法，该方法在K个集群的列表中为每个单元分配(非零)概率，以及word2vec，该方法基于文本的矢量化分数来衡量任意两个语料库之间的相似性。但考虑到我要处理的对象通常具有固定数量的类别(例如，学术科目、经济部门)和有界分布(例如，在0到100之间)。我想知道，对于这项任务，什么是更合适的
浏览 30提问于2021-03-18得票数 0
3回答
我写了一个小的搜索引擎作为我的每周专题。它基于查询向量和文档向量之间的余弦相似度。矢量是用TF-下手的记号来计算的.
我已经了解了Apache，这是一个全文搜索引擎。我的问题是，在排序搜索结果时，solr内部使用余弦相似性吗？
浏览 2提问于2014-07-09得票数 5
回答已采纳
1回答
我已经建立了一个自动编码器从一个非常高的维度(200维)空间提取一个更小但重要的表示(16个维度)。
现在我有了这些“编码”向量，我想要计算某种相似的分数，或者聚类。
我不知道在这一点上适用哪一种距离概念。考虑到我使用了自动编码器，我有什么想法可以得到相似/聚类吗？
浏览 0提问于2019-07-08得票数 1
回答已采纳
1回答
NLP如何获取两个文档之间的差异
、、、、
我有2个文档A-B (或2系列文档)，我想要一个新的文档来显示这两个文档之间的差异: A-B
根据不同，有几种定义，一种是:单词列表/“概念”包括在A中但不包括在B中。
我正在考虑对A和B的每个句子使用TF IDF，例如：
from sklearn.feature_extraction.text import TfidfVectorizer
d1 = [open(f1) for f1 in text_files]
tfidf = TfidfVectorizer().fit_transform(d1)
pairwise_similarity = tfidf * tfidf.T
我不确定这是否与生
浏览 0提问于2016-06-08得票数 0
1回答
我想要一些关于理解TF-IDF向量结果的方法的反馈，以及可能的替代方法。
现在，我有两个文本语料库。目标是找到每个语料库中的哪些文档最相似。
当我找到一个有趣的匹配项时，我想知道为什么，所以我实现了一个名为why_match()的简单函数，但我想帮助了解它是否是一种有效的方法。
它是这样工作的：
def why_match(doc_vector_a, doc_vector_b, sklearn_tfidfvectorizer):
distance = abs(doc_vector_a - doc_vector_b)
nearest_words = np.array((dista
浏览 2提问于2018-10-27得票数 0
我读了Levy等人的论文“”，在讨论他们的超参数时，他们说：
向量归一化()如第二节所述，所有向量(即W行)都归一化为单位长度(L2归一化)，使点积运算等价于余弦相似。
然后，我回顾了R- sim2包中text2vec向量相似函数的默认值是L2-范数向量，首先：
sim2(x, y = NULL, method = c("cosine", "jaccard"), norm = c("l2", "none"))
因此，我想知道，这其中的动机是什么，规范化和余弦(无论是在text2vec还是一般情况下)。我试着阅读L2范数，但
浏览 4提问于2018-07-11得票数 6
回答已采纳
1回答
在NLP中，通常情况下，特征的维度非常大。例如，对于手头的一个项目，特征的维度几乎是20,000 (p = 20,000)，并且每个特征都是一个0-1整数，以显示论文中是否存在特定的单词或二元语法(一篇论文是R^{p}$中的数据点$x \)。
我知道特征之间的冗余度很大，所以降维是必要的。我有三个问题：
1)我有10,000个数据点(n = 10,000)，每个数据点有10,000个特征(p = 10,000)。进行降维的有效方法是什么？R^{n \x p}$中的矩阵奇异值分解( $X )是如此之大，以至于主成分分析(或奇异值分解，截断奇异值分解)都可以，但我不认为奇异值分解是降低二进制特征维
浏览 13提问于2014-11-21得票数 6
1回答
我正在尝试使用推荐实验室来构建一个UBCF并生成推荐。这个过程是可以的，预测似乎是有意义的。我需要的是向我的同行(商业和营销)解释为什么我要向那些用户推荐这些项目。
我的代码是：
library(recommenderlab)
data(Jester5k)
r <- sample(Jester5k, 1000)
rec_ub <- Recommender(r[1:100],method="UBCF", param=list(normalize = "Z-score",method="Cosine", nn=3,minRatin
浏览 2提问于2015-02-18得票数 0
2回答
我有一个包含5000项(行)和2048个特性(列)的dataframe。
我的数据形状是(5000,2048)，当我用滑雪板中的成对距离计算余弦矩阵时，得到了(5000,5000)矩阵。在这里我可以互相比较。
但是现在，如果我有一个新的(1,2048)的向量形状，如何利用我已经计算过的(5000,5000)余弦矩阵，找到这个项目与我所拥有的早期数据的余弦相似性？
编辑
PS:，我可以将这个新向量附加到我的数据中，然后再计算余弦相似度。但对于大量的数据，它变得缓慢。或者还有其他快速和准确的距离度量吗？
浏览 7提问于2019-11-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
