如何对字符串数组运行spaCy的句子相似度函数以获得分数数组？
要对字符串数组运行spaCy的句子相似度函数以获得分数数组，首先需要安装并导入spaCy库。然后，使用spaCy的自然语言处理模型加载语言模型，例如英文的"en_core_web_sm"。
接下来，将字符串数组中的每个句子传递给spaCy的语言模型，使用模型的nlp方法进行处理。对于每个句子，可以使用模型的similarity方法与其他句子进行相似度比较，得到一个分数。
以下是一个示例代码：
import spacy
# 加载语言模型
nlp = spacy.load("en_core_web_sm")
# 字符串数组
sentences = ["I love coding", "Coding is fun", "Programming is interesting"]
# 分数数组
scores = []
# 对每个句子计算相似度分数
for i in range(len(sentences)):
for j in range(i+1, len(sentences)):
# 处理句子
doc1 = nlp(sentences[i])
doc2 = nlp(sentences[j])
# 计算相似度分数
score = doc1.similarity(doc2)
# 添加到分数数组
scores.append(score)
# 打印分数数组
print(scores)在这个示例中，我们使用了英文的语言模型"en_core_web_sm"，并对字符串数组中的每个句子进行了两两相似度比较，将得到的分数添加到分数数组中。你可以根据需要修改语言模型和句子数组。
需要注意的是，spaCy的相似度函数返回的是一个0到1之间的浮点数，表示两个句子的相似程度，分数越接近1表示越相似。
关于spaCy的更多信息和使用方法，你可以参考腾讯云的自然语言处理（NLP）产品，链接地址：腾讯云自然语言处理（NLP）。
相关·内容
1回答
问题
1.如何找到合适的测量方法
有几种测量句子相似性的方法，但我不知道如何为我的数据(句子)找到合适的方法。
关于堆栈溢出的相关问题：有没有办法检查python中两个完整句子之间的相似性？
2.基于
的句子或段落
如果可以同时获得一个句子和一个包含句子的段落，那么哪个句子或段落之间的相似性更准确呢？
到目前为止我尝试了什么，
1.我尝试使用其中一个库来度量相似性.
然而，我很难找到更精确的方法来测量相似之处。
original = 'New York is a noisy city where hamburgers are famous.'
test = ['Berl
浏览 0提问于2022-02-07得票数 2
回答已采纳
3回答
我在做一个项目。我需要任何开源工具或技术来找到两个句子的语义相似度，其中我给出两个句子作为输入，并接收分数(即语义相似度)作为输出。有什么帮助吗？
浏览 3提问于2010-01-11得票数 8
2回答
我收集了学生的论文。每一篇文章都是关于相同的主题和相同的单词长度。我的目标是开发一种机器学习算法，它精确地指出“陈词滥调”句子(即“非原创”的句子，类似于其他学生所写的句子)。
让X文档成为我们要分析的文章。让S成为所有散文的集合。下面是我所想到的最基本的方法：
将所有文章(从S-X组)分割成单独的句子。调用这个句子集合Y。使用这个解决方案将X的每个句子与Y中的每个句子进行比较。这将为X中的每个句子提供一系列的Z分数。
对于每一个Z:根据位置加权Z中的每个分数。如果X中的一个句子和Y中的一个句子在他们各自的文章中处于相似的位置(例如，两者都在文章的开头)，则Z中相应分数的权重将高于这两个句子之
浏览 0提问于2021-04-05得票数 0
我试图弄清楚我是否信任SpaCy的相似性函数，但我被弄糊涂了。下面是我的玩具示例：
import spacy
nlp = spacy.load('en')
doc1 = nlp(u'Unsalted butter')
doc2 = nlp(u'babi carrot peel babi carrot grim french babi fresh babi roundi fresh exot petit petit peel shred carrot dole shred')
doc1.similarity(doc2)
我得到的相似度是0.64。
浏览 4提问于2017-10-14得票数 4
1回答
我一直在使用spacy en_core_web_lg，并希望尝试en_core_web_trf (转换器模型)，但在模型/管道使用方面的差异方面有一些困难。
我的用例如下所示：
import spacy
from spacy import displacy
nlp = spacy.load("en_core_web_trf")
s1 = nlp("Running for president is probably hard.")
s2 = nlp("Space aliens lurk in the night time.")
s1.simila
浏览 11提问于2022-05-31得票数 1
6回答
句子相似度检测的BLEU评分实现
、、、、
我需要计算BLEU分数来判断两个句子是否相似。我看过一些文章，这些文章大多是关于测量机器翻译accuracy.But的BLEU分数。我需要一个BLEU分数来找出同一个languageEnglish中句子之间的相似度。(即)(这两个句子都是英文的).Thanks in languageEnglish。
浏览 6提问于2011-03-22得票数 6
回答已采纳
2回答
我一直在试图理解谷歌的语义体验的概念。通过使用它，我计划实现一个语义查询工具。
使用通用句子编码器，我可以先对所有句子进行预编码，然后把它们放到数据库中.当用户想要执行查询时，输入也将转换为512维向量，我们将通过比较余弦相似度(选择最高相似度向量)对整个数据库执行顺序搜索。但这太慢了..。
幸运的是，在他们的语义体验页面上，他们写了以下内容：
通用语句编码器模型非常类似于我们在对图书和Semantris的对话中使用的方法，尽管这些应用程序使用的是双编码器方法，它最大限度地提高了响应相关性，而通用语句编码器是一个为输入返回嵌入的编码器，而不是输入对上的分数。
将句子转换为嵌入向量的一种更简单的
浏览 0提问于2018-11-26得票数 1
5回答
我想比较两个字符串，并得到一些分数，这些看起来有多相似。例如，“句子几乎相似”和“句子相似”。
我不熟悉Java中的现有方法，但对于PHP而言，我了解。
Java中有更好的方法吗？
浏览 3提问于2010-01-18得票数 43
回答已采纳
我在spacy下通过实体链接器管道的预测方法，出于某种原因，分数定义如下： scores = prior_probs + sims - (prior_probs*sims) 链接here 有谁有这方面的经验/知道这个公式是从哪里来的？ 谢谢!
浏览 47提问于2020-03-30得票数 2
回答已采纳
1回答
句子转换器如何预测新实例
、、、、
我正在探索句子转换器，并偶然发现了这个。它展示了如何对我们的自定义数据进行培训。但我不知道该怎么预测。如果有两个新句子，如1)这是第三个例子，2)这是第三个例子。我怎么能预测到这些句子有多相似呢？
from sentence_transformers import SentenceTransformer, InputExample, losses
from torch.utils.data import DataLoader
#Define the model. Either from scratch of by loading a pre-trained model
model = Sen
浏览 1提问于2022-01-04得票数 2
我正在学习如何使用Pythons Scikit-Learn库进行集群。我有一个句子(字符串)的列表。我想知道，字符串的长度是否会影响silhouette_score。
例如，我有从2个单词到35个单词的句子，我尝试了从2到60个集群的数量，我得到的最大的silhouette_score是7。这会影响到silhouette_score吗？最好是过滤我的数据，这样我就可以选择比字数更接近的句子，例如，将字数从20-25或5-10设置为？
我的代码是这样的：
list_of_comments = data
#cv = TfidfVectorizer(analyzer = 'word'
浏览 0提问于2019-09-07得票数 1
回答已采纳
1回答
我正在寻找一种解决方案来使用类似于most_similar()的Gensim，但使用Spacy。我想在使用NLP的句子列表中找到最相似的句子。
我试图在循环中一个一个地使用来自Spacy的Spacy(例如)，但这需要很长时间。
深入：
我想把所有这些句子放在一个图表(如)中，以找到句子簇。
知道吗？
浏览 1提问于2019-05-15得票数 4
回答已采纳
我正在执行一个数据提取用例。为了对我的数据进行预处理和标记，我同时使用了spacy英语和德语标记器，因为句子都是用这两种语言的。这是我的密码：
import spacy
from spacy.lang.de import German
from spacy.lang.en import English
from spacy.lang.de import STOP_WORDS as stp_wrds_de
from spacy.lang.en.stop_words import STOP_WORDS as stp_wrds_en
import string
punctuations = str
浏览 4提问于2020-04-17得票数 0
在Spacy文档中提到，它在特征化中使用了，因此在分类中也使用了and。
例如，如果我们测试一个不在训练数据中但具有相同含义的句子，那么它应该按照与训练句子相同的意图进行分类。
但这是不可能的。假设训练数据是这样的-
## intent: delete_event
- delete event
- delete all events
- delete all events of friday
- delete ...
现在，如果我测试remove event，那么它不会被归类为delete_event，而是落入其他一些目的。
我已经尝试将管道更改为supervised_embeddings，还
浏览 32提问于2019-07-12得票数 0
回答已采纳
2回答
我有以下代码，它包含两个句子并返回相似度：
nlp = spacy.load("en_core_web_md/en_core_web_md-3.2.0")
def get_categories_nlp_sim(cat_1, cat_2):
if (cat_1 != cat_1) or (cat_2 != cat_2):
s = np.nan
else:
doc1 = nlp(cat_1)
doc2 = nlp(cat_2)
s = doc1.similarity(doc2)
retu
浏览 19提问于2022-04-30得票数 1
我发现spaCy的相似性可以很好地用"en_core_web_lg“来比较我的文档。
我想加强一些领域的关系，并认为向模型中添加自定义NER标签会有帮助，但我在模型前后的结果没有显示出任何改进，尽管我已经能够创建一组自定义实体。
现在我在想，我的理论是完全错误的，还是我错过了什么东西？
如果我错了，什么是改善结果的最佳方法？似乎某种自定义的标签应该会有帮助。
下面是我迄今测试过的一个例子：
import spacy
from spacy.pipeline import EntityRuler
from spacy.tokens import Doc
from spacy.gold im
浏览 5提问于2020-05-29得票数 1
回答已采纳
2回答
我有一组逐字逐句的句子，我试着做的是....if两个句子有相同的意思，这些句子应该被原来的句子替换，然后我必须计算这些句子的频率。
有没有办法可以用NLTK来做呢？在这方面的任何建议都是欢迎和赞赏的。我正在寻找NLP方法。谢谢
浏览 1提问于2018-05-02得票数 1
我正在尝试构建一个非英语拼写检查器，它依赖于spaCy对句子的分类，这使得我的算法可以使用词性标签和单个标记的语法依赖性来确定拼写错误(在我的例子中，更具体地说:荷兰语复合词中的错误拆分)。
然而，如果句子包含语法错误，例如将名词分类为动词，即使分类后的单词看起来甚至不像动词，spaCy似乎也不能正确地对句子进行分类。
正因为如此，我想知道是否有可能获得spaCy分类的不确定性，从而可以判断spaCy是否正在努力处理一个句子。毕竟，如果spaCy正在为分类而苦苦挣扎，这将为我的拼写检查器提供更多关于句子包含错误的信心。
有没有办法知道spaCy是否认为一个句子在语法上是正确的(而不必指定我的语
浏览 0提问于2020-12-09得票数 4
我正在尝试实现textrank算法，其中我正在计算所有句子的余弦相似矩阵。我想使用Spark并行创建相似矩阵的任务，但不知道如何实现it.Here代码： cluster_summary_dict = {}
for cluster,sentences in tqdm(cluster_wise_sen.items()):
sen_sim_matrix = np.zeros([len(sentences),len(sentences)])
for row in range(len(sentences)):
for col in
浏览 165提问于2020-07-20得票数 2
回答已采纳
2回答
假设我对两个句子中的每对单词都有一个单词相似性评分，那么从这些分数中确定句子的整体相似性的合适方法是什么呢？
使用表示每个单词的向量的余弦相似度来计算单词分数。
现在我有了单个单词的分数，如果把每个单词的分数相加，除以两个句子的总字数，就能得到两个句子的分数，是不是太天真了？
我读过关于进一步构造向量来表示句子，用单词分数，然后再用余弦相似性来比较句子。但我不熟悉如何从现有的单词分数中构造句子向量。我也不知道这些权衡与上面描述的天真方法相比是什么，至少，我可以很容易地理解这种方法。*)。
任何见解都会受到极大的赞赏。
谢谢。
浏览 2提问于2015-01-27得票数 3
回答已采纳
所以现在，我有一个非常简单的程序，它将取一个句子，然后在一本书中找到这个句子，这个句子在语义上是最相似的，然后把这个句子和接下来的几个句子一起打印出来。
import spacy
nlp = spacy.load('en_core_web_lg')
#load alice in wonderland
from gutenberg.acquire import load_etext
from gutenberg.cleanup import strip_headers
text = strip_headers(load_etext(11)).strip()
alice = n
浏览 0提问于2018-10-14得票数 3
回答已采纳
我需要为产品主数据构建一个算法，我不确定最好的NLP方法。场景是：-我有产品黄金记录；-我有许多其他需要协调的产品目录；例如：-产品黄金记录:可口可乐和可口可乐零；-需要进行哈密化的产品描述:可口可乐300ml，可口可乐300毫升，可口可乐零。
我需要一个通过相似度来协调的算法，因为我必须考虑打字错误，有时还需要考虑句子中的产品片段。示例: Coke zero JS MKT (JS和MKT是垃圾，但句子更类似于Coke Zero)。
我一直在测试一些NLP的句子相似度，比如Bag of words，以及阅读其他一些方法，比如Cosine相似度和Levenshtein距离。然而，我不知道对我的情
浏览 14提问于2019-07-31得票数 0
回答已采纳
2回答
我想为三个类别建立一个分类模型，每个观察我有两个句子，首先对每个句子应用一个cnn层，然后添加密集层。
inputs = Input(shape=(2,n_timesteps))
embedding_inputs = embedding_layer(inputs)
sentence1 = Lambda(lambda x: x[:,0,:,:])(embedding_inputs)
sentence2 = Lambda(lambda x: x[:,1,:,:])(embedding_inputs)
conv_sentence1 = Conv1D(filters=64, kernel_siz
浏览 0提问于2019-12-19得票数 0
1回答
我有很多内容项目存储在数据库中，我知道用户感兴趣的标签。例如，Alice对诸如“保健”、“体育”和“社交”这样的标签感兴趣。每个内容项包含一个或多个标记。为了向Alice推荐新的内容，我将如何匹配这些内容？
考虑以下基本数据库表：
CREATE TABLE `content_tag` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`item_id` INT(11) NOT NULL,
`tag_id` INT(11) NOT NULL,
PRIMARY KEY (`id`)
);
CREATE TABLE `tag` (
`id
浏览 3提问于2016-06-24得票数 1
回答已采纳
1回答
spaCy的相似性有时会有些奇怪。如果我们比较完全相等的文本，我们得到的分数是1.0。但是文本几乎相等，我们可以得到> 1的分数。这种行为可能会损害我们的代码。为什么我们会得到这个> 1.0的分数，我们能预测到吗？
def calc_score(text_source, text_target):
return nlp(text_source).similarity(nlp(text_target))
# nlp = spacy.load('en_core_web_md')
calc_score('software development'
浏览 2提问于2019-09-07得票数 0
我正在尝试spacy 中的Keras示例，但不是像这样将Doc中的情感分数相加
for sent, label in zip(sentences, ys):
sent.doc.sentiment += label - 0.5
我想在句子层面上保持这样的分数
for sent, label in zip(sentences, ys):
sent.sentiment = float(label)
这段代码给了我这个错误
AttributeError: attribute 'sentiment' of 'spacy.tokens.span.Span' obje
浏览 6提问于2020-03-03得票数 2
回答已采纳
1回答
我试图从我的数据中找到相似的句子，我的代码给了我一个输出，它基本上对类似的句子进行排序，比如1、2和3，其中，等级1将是高度相似的句子。我用BM25来找出这个例子:第一句：“那个人穿着一件红色的衬衫。
第一名：“那个男孩穿着一件红色的衬衫”
第二名：“那个男孩穿着衬衫”
第三名：“女孩穿着连衣裙”
我也想知道相似的分数，以了解这些句子有多相似。那里需要帮助！
浏览 6提问于2022-03-16得票数 1
2回答
我一直使用spacy来寻找sentences.My问题的NER，因为我必须计算两个不同文档的句子之间的NER相似度。在python中有没有同样的公式或包呢？
提亚
浏览 1提问于2019-04-03得票数 1
我知道我们可以用交叉相关来测量信号中的“相似”，但是我们如何计算文本中“相似”的百分比呢？
例如: 1。“神奇狗的传说”2。“狗怪传奇”，这几乎是百分之百的相同，但洗牌。
但配对时: 3。“狗狗令人敬畏的数字9”，它只有40%的一致性与句子1或2。
浏览 3提问于2018-01-08得票数 0
回答已采纳
2回答
我正在用Spacy解析一个句子，如下所示：
import spacy
nlp = spacy.load("en")
span = nlp("This is some text.")
我想知道是否有办法删除一个词的跨度，同时仍然保持其余的单词格式像一个句子。比如
del span[3]
会产生一个类似的句子
这是一些。
如果没有SpaCy的其他一些方法也能达到同样的效果，那就太好了。
浏览 1提问于2018-09-05得票数 11
2回答
我正在尝试理解Spacy中的相似性是如何工作的。我试着用梅拉尼娅·特朗普的和米歇尔·奥巴马的看看他们有多相似。
这是我的代码。
import spacy
nlp = spacy.load('en_core_web_lg')
file1 = open("melania.txt").read().decode('ascii', 'ignore')
file2 = open("michelle.txt").read().decode('ascii', 'ignore')
doc1 =
浏览 2提问于2018-11-24得票数 6
类似于上一个问题How to calculate the overall accuracy of custom trained spacy ner model with confusion matrix? spaCy在写出经过训练的NER模型时，在meta.json文件中提供精确度、召回率和F1分数。此外，在运行求值命令python -m spacy evaluate时也可以使用这些值。但是，是否有可能获得用于计算这些值的TP、FP、FN的计数？ 此外，是否有可能输出导致假阳性或假阴性的实际文本/标记？
浏览 25提问于2020-04-15得票数 1
5回答
模糊字符串比较
、、
我正在努力完成的是一个程序，它读取一个文件，并将每个句子根据原始句子进行比较。与原文完全匹配的句子将得到1分，与之完全相反的句子将得到0分。所有其他模糊句子的评分将在1到0之间。
我不确定在Python3中使用哪个操作来完成此操作。
我已经包含了示例文本，其中文本1是原始文本，前面的其他字符串是比较字符串。
文本:示例
文本1:那是一个黑暗和暴风雨的夜晚。我一个人坐在一把红色的椅子上。我并不是一个人，因为我有三只猫。
文本20:那是一个阴沉的暴风雨之夜。我一个人坐在一把深红色的椅子上。我并不是完全孤单，因为我有三只猫//应该得最高分，而不是1分
文本21:那是一个阴沉而狂风暴雨的夜晚。我独自一
浏览 2提问于2012-04-30得票数 78
1回答
我正在尝试测量标记之间的相似性。我使用的是默认的en模型。当使用单数名词时，相似性度量按预期工作，但当使用复数形式的相同名词时，相似性度量返回零。
nlp = spacy.load('en')
doc = nlp('apple orange')
doc[0].similarity(doc[1])
返回0.56189166448170025
doc = nlp('apples oranges')
doc[0].similarity(doc[1])
返回0.0
是否需要实现任何预处理步骤才能使度量正常工作？谢谢。
浏览 0提问于2017-09-22得票数 1
在Python语言中的spaCy教程示例中，apples.similarity(oranges)的结果是0.39289959293092641而不是0.7857989796519943
有什么原因吗？教程的原始文档教程与我得到的答案不同的教程：
谢谢
浏览 0提问于2016-10-09得票数 3
1回答
我有一个非常有趣的问题，在过去的几天里，我一直在努力解决，但没有运气。我有120k个项目的描述，我必须与38k个项目进行比较，并确定它们之间的相似程度。最终，我想看看在基于相似性的120k内是否存在38k中的任何一个。我在excel中找到了很好的相似性脚本，我把我的数据组织成乘法表，这样我就可以比较从120k到38k的每个描述。请看下面的图片。所以函数是有效的，但是计算量是不可能在excel中运行的。如果我把它一分为二( 120k X 16k)，我们谈论的是超过20亿的计算。该功能是比较从A2到B1的描述，然后比较A2到C1的描述，依此类推，直到16k。然后它从A3中进行描述，并做同样的事情，
浏览 1提问于2018-03-14得票数 0
1回答
Spacy创建向量表示的内置方法是什么？我在我的语料库上执行了NLP，然后使用.similarity (余弦相似度)来绘制出“相似”的文档。然而，我不确定spacy使用什么方法来创建向量表示。据我所知，我认为这可能是负采样的word2vec跳过语法，然而，我想确定！
浏览 7提问于2017-07-07得票数 1
当我使用sense2vec中提供的most_similar方法时，我会打印出整个词汇表列表。我认为这是不正确的工作。举个例子，我给50000000只是为了测试"decrease|VERB"，我有188325个列表 import spacy
from sense2vec import Sense2Vec
from sense2vec import Sense2VecComponent
nlp = spacy.load("en_core_web_sm")
s2v = Sense2Vec().from_disk("./s2v_old/")
most_
浏览 27提问于2019-12-17得票数 0
我在products_a数组和products_b数组中都有类似的产品数据：
products_a = [{color: "White", size: "2' 3\""}, {color: "Blue", size: "5' 8\""} ]
products_b = [{color: "Black", size: "2' 3\""}, {color: "Sky blue", size: "5' 8\""}
浏览 8提问于2021-10-03得票数 5
回答已采纳
3回答
我正在寻找一个相对简单的NLP algo，这将帮助我评估两个句子之间的相似性。这些句子通常在1-5个单词之间，大约.
。
上下文：
用户可以创建尽可能多的类别，他希望分组他的照片。我注意到这些类别中有很多是空的，当潜得更深一点时，我看到用户创建的许多类别几乎都有相同的名称，例如，法国对法国法郎夏季对夏季海滩和海滩(心脏表情)
一种假设是，他们创建一个带有拼写错误的类别，而不是删除，而是创建一个新的类别。
目标：
量化用户级别上高度相似的类别对的数量。
所以我的问题基本上有两个方面：
哪个简单的NLP算法可以很好地完成这项工作，而不需要像谷歌这样的公司使用某种凸性的神经网络。听说向量空间的余弦相
浏览 0提问于2022-04-01得票数 1
2回答
我有大约10k个文档(大部分是1-2个句子)，希望每个文档都能找到60k个文档集合中最简单的10个文档。因此，我想使用空间库。由于这需要大量的文档，所以我的第一个想法是为每个60k文档以及10k文档计算文档向量()，并将它们保存在两个矩阵中。这两个矩阵可以相乘得到点积，这可以解释为相似性。现在，我基本上有两个问题：
这实际上是最有效的方法吗?还是有一个聪明的技巧可以加速这个过程？
如果没有其他聪明的方法，我想知道是否至少有一种聪明的方法来加速计算文档向量矩阵的过程。目前，我使用的是for循环，这显然不是非常快：
import spacy
nlp = spacy.load(
浏览 3提问于2022-03-23得票数 2
回答已采纳
我想计算余弦相似度，但在将dataframe列转换为它的列表后，我得到了一个错误消息:参数'string‘的类型不正确(预期的str，got列表)。
import pandas as pd
import spacy
nlp = spacy.load("en_core_web_sm")
df= [['24, Single, Consultant, Canada, I am interested in visiting Isreal again'], ['18, Single, Student, I want to go back Costa Ri
浏览 49提问于2021-03-09得票数 1
回答已采纳
2回答
我正在尝试允许用户输入一个搜索词，以找到前5篇文章匹配他们的搜索。我正在比较各种方法(gensim word2vec，doc2vec，近邻等)的结果/性能。
我已经成功地创建了代码来利用Spacy中的标准相似度函数，然而，当它循环遍历大量文档列表时，将相似度分数附加到pandas df中，这花费的时间太长。
有没有一种方法可以返回前5个最相似的文档，而不需要附加循环和pandas？原因是，与其他文档相比，此方法返回最合理的前5个文档(嵌入单词的乐趣！)
#load relevant libraries
import pandas as pd
import numpy as np
浏览 18提问于2018-08-02得票数 4
回答已采纳
我有以下问题。我一直试图从这个源代码复制示例代码：
我在Linux和Spacy 3.1上使用木星实验室环境
# $ pip install spacy-transformers
# $ python -m spacy download en_trf_bertbaseuncased_lg
import spacy
nlp = spacy.load("en_trf_bertbaseuncased_lg")
apple1 = nlp("Apple shares rose on the news.")
apple2 = nlp("Apple sold fewe
浏览 18提问于2022-04-23得票数 1
2回答
特定主题语言模型的评价
、、、
我已经在我的自定义数据集上完成了一个预先训练过的语言模型(GPT-2)。我希望有一种方法来评估我的模型生成特定预定义主题的句子的能力，以单个关键字的形式给出。“计算机”)或一袋袋单词(如：“计算机”、“Linux”、“服务器”.)
例如，给定LM，模型的输出与单词计算机指定的主题有多大的关系？
我已经尝试过的是:从LM生成足够多的句子，并将这些句子与目标主题(或主题中的每一个单词，我们有多个单词)之间的平均余弦相似度作为这里描述。我不确定这是否是一种有效的方法，而且句子之间的余弦相似性在很多情况下也会产生很差的结果。
提前感谢您的帮助。
浏览 0提问于2020-10-02得票数 2
回答已采纳
我已经理解了当计算单词之间的相似度时LSA是如何工作的。我正在使用lsa.colorado.edu网站上的LSA，但我找不到一个来源，即句子或多个单词之间的相似度是如何计算的。这仅仅是通过平均所有成对的相似性来完成的吗？
浏览 1提问于2012-12-17得票数 1
我正在做一个问答任务。我计划使用依存关系解析来查找从段落到查询的候选答案。然而，我不确定如何才能找到查询的依存关系树和段落中的句子之间的相似性。下面是可重现的代码。 import spacy
from spacy import displacy
nlp = spacy.load('en_core_web_sm')
doc1 = nlp('Wall Street Journal just published an interesting piece on crypto currencies')
doc2 = nlp('What did Wall Str
浏览 15提问于2019-03-14得票数 0
1回答
将注释的数据框架拆分为多行
、、、、
我有一个数据框架，有很长的注释，我想用sentencizer将它们分割成不可分割的句子。
Comments = pd.read_excel('Comments.xlsx', sheet_name = 'Sheet1')
Comments
>>>
reviews
0 One of the rare films where every discussion leaving the theater is about how much you
just had, instead of an ana
浏览 1提问于2022-07-26得票数 1
回答已采纳
我的目标很简单:我有一组字符串或句子，我想在文本语料库中找到最相似的一个。
例如，我有以下文本语料库：“图书馆的正面装饰着由艺术家米勒德设计的”生命之字“壁画。”
我想找到原始语料库的子字符串，它非常类似于：“库外观是绘制的”。
因此，当输出时，我应该得到的是：“库前装饰”。
我想出的唯一办法就是用可变长度的子串把原来的句子分开(例如。在3,4,5字符串的子字符串中)，然后使用来自spacy python模块的类似spacy的东西来评估我的目标文本与所有子字符串的相似之处，然后保留值最高的子字符串。
这似乎是一种效率很低的方法。还有什么更好的办法吗？
浏览 0提问于2019-03-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
