我希望使用python机器学习对一组文章进行关键字分配(而不是关键字提取)，即使用预定义列表中的关键字对文本进行分类。Google给了我大量的关键词提取结果。你能告诉我任何关于关键词分配步骤的博客或文章(更好的推荐给图书馆)吗？
如屏幕截图所示(请建议如何共享CSV文件)，已经手动标记了10个现有的问题，还有一个新的第11个问题正在等待根据模式进行标记。
浏览 2提问于2022-08-04得票数 -1
回答已采纳
1回答
我需要检查特定网页上内容的相关性。我有成千上万的网页要检查这个。检查页面标题是否与页面上的内容相关的最佳方法是什么。
浏览 0提问于2018-11-03得票数 0
回答已采纳
我需要返回一个包含关键字的文本。让我们考虑以下示例： keyword = "configure"
texts = [
"The system configuration document should be uploaded to the repository. Please contact the dev team.",
"To do the system setup, please follow the instructions."
] 关键字configure不会出现在任何文本中。但类似的单词configuration出现
浏览 43提问于2020-11-09得票数 1
我想对模型中的两个字段执行全文搜索。下面是我当前的代码： if 'keyword' in request.GET:
search_term = request.GET['keyword']
vector = SearchVector('Title', weight='A') + SearchVector('Content', weight='B')
articles = articles.annotate(similarity=TrigramSimilarity(vecto
浏览 29提问于2019-01-22得票数 1
回答已采纳
让我们假设我们有一个适度增长的文档语料库，即每天都有一些新文档添加到这个文档语料库中。对于这些新添加的文档，我可以只使用LDA的推理部分来推断主题分布。我不需要再次对所有文档执行LDA的整个主题估计+推理过程，只为了获得这些新文档的主题分布。但是，随着时间的推移，我可能需要重新执行整个主题生成过程，因为自上次执行LDA以来新添加的文档数量可能会向文档语料库中添加全新的单词。
现在，我的问题是-如何确定两个主题生成执行之间的足够好的间隔？对于我们应该多久执行一次整个文档语料库的LDA，有什么一般性的建议吗？
如果我保持这个间隔很短，那么我可能会失去稳定的主题分布，并且主题分布将不断变化。如果我保
浏览 3提问于2015-10-15得票数 1
1回答
如何判断两个网页内容是否相似？
、、、、
给定两个html源，我想首先使用之类的东西从中提取主要内容。有没有 --我特别想找Python/Javascript的？
一旦我有了两个提取的内容，我想返回一个介于0和1之间的分数，表示它们有多相似，例如，来自CNN和BBC的关于同一主题的新闻文章会有更高的相似性分数，因为它们在相同的主题上，或者Amazon.com和Walmart.com上关于相同产品的网页也会有很高的分数。我该怎么做呢？有没有现成的库已经这样做了？我可以使用哪些好的库？基本上我正在寻找，，和的组合。
浏览 0提问于2012-04-06得票数 3
回答已采纳
4回答
我有两列疾病名称，我必须尝试匹配最好的选项。我尝试使用python中的"SequenceMatcher“模块和"fuzzywuzzy”模块，结果令人惊讶。我已经将结果和我的疑虑粘贴在下面：
假设有一种疾病“肝脏肿瘤”，我需要将其与最佳匹配名称“癌症，肝脏”或“癌症，乳腺癌”进行匹配。现在很明显，因为肝脏是一个匹配的单词，它应该很容易地选择“癌症，肝脏”作为答案，但这并没有发生。我想知道在python中匹配的原因和更好的方法。
from difflib import SequenceMatcher
s1 = 'liver neoplasms'
s2 = '
浏览 7提问于2019-12-23得票数 1
2回答
比较两种数据结构的相似性
、、、、
我正在尝试寻找一种算法来检查两个数据条目之间的相似性。假设我有两个数据结构(联系人列表中的字段)，其中包含以下数据：
// UserA addressbook.
name: Frank Sinatra
mobile: +44 555 555 555 55
// UserB addressbook.
name: Frank Albert Sinatra
phone: 004455555555555
我从不同的供应商那里得到了这些条目，UserA同步了他的谷歌账户，而UserB同步了他的微软账户，但我想让我的算法告诉我，这两个用户都认识同一个人(以一定的概率)。
有没有人知道我应该去哪里调查？我
浏览 0提问于2013-11-29得票数 0
1回答
我正在编写一个简单语音识别程序，它将使我能够用语音命令控制我的机器人。我只想让程序查找特定的单词，并且速度相对较快。我的项目是基于迈克尔里维斯的“我做了一个机器人，可以让激光照进我的眼睛”，并试图创造出类似于他视频中看到的语音命令的东西。
我的问题是，狮身人面像速度很快，但(编辑:不准确)。除此之外，当我启用关键字时，输出会变得很奇怪。如果我说命令shutdown，输出将是：
"three nine one four five eight two one eight nine three four two six zero eight nine two
浏览 7提问于2020-09-23得票数 2
2回答
在我正在编写的一个脚本中，我通过比较关键字和关键短语的相似度来计算一个数组中的每一项与另一数组中的每一项的相关性。最后，我为第二个数组中的每个项目选择最相关的前4个项目。
我知道这是一个非常模糊的背景，但是有什么方法可以避免算法O(n^2) (比较一个数组中的每一项与另一数组中的每一项)，或者是否有更有效的方法来计算相关性？
浏览 1提问于2010-10-27得票数 1
1回答
我有一个文档分类问题，需要对某个文档是否涉及房地产进行分类。我得到一个网页的网址，从中提取所有的文本，然后使用我训练的模型，实际上是基于LSTM的，我分类它是否与房地产有关。在这里，有房地产属性的页面意味着页面应该只讨论一个属性，而不是更多的属性。
我的模型可以获得以下类型的输入数据之一：
一个具有独特的房地产列表的URL，并讨论该特定的属性。例如1
包含符合特定标准的房地产列表的URL。所有的房产都有3间卧室，在一个特定的租金范围内。例如2。这类页面我称之为索引页。
只是一些随机的网址，从这些经纪人网站谈论他们的组织，他们的成就，他们的团队等。例如3.。
不同的网站显示一个集合或房地产列表与
浏览 0提问于2021-12-20得票数 0
我是初级网页开发人员。我正在学习postgres，我有一个关于case语句用例的问题。
此查询查找具有与特定单词最接近的数据的几行。
结果可以是多个。
在此查询中，根据每行的相似度使用case语句计算排名值。
可以理解，case语句返回一个与每次执行匹配的值。
当在min和window函数中使用case语句时，我想知道如何找到结果。
给定表PostalCode为..
|---------------------|------------------|
| pcode | name |
|---------------------|------
浏览 8提问于2020-03-04得票数 1
1回答
我在数据库中有记录(行)，并且我想标识类似的记录。我有一个使用余弦相似度的约束。如果变量(属性、列)的类型不同，并以以下形式出现：
[number] [number] [boolean] [20 words string]
如何进行矢量化以应用余弦相似度？对于字符串，我可以使用简单的tf-idf。但是对于数字和布尔值呢？如何将这些结合起来呢？我的想法是向量应该是1+1+1+20长度。但是，仅仅将记录的数字转换为矢量中的系数，并将它们与字符串的tf-idf连接以计算余弦相似度，在语义上是“有效的”吗？或者，我可以将数字视为单词，并将tf-idf应用于数字。有没有其他的技术？
浏览 5提问于2013-03-20得票数 1
1回答
我使用的是Oracle 11g。
我已经尝试过Oracle Text功能，到目前为止我很喜欢它。我现在需要支持对拼写错误的单词进行搜索。所以，我发现CONTAINS支持Fuzzy运算符，这似乎就是我想要的！
但我想知道更多关于运算符内部发生的事情。是干什么的呢？它是使用编辑距离还是jaro-winkler距离进行相似性评分？我特别希望使用jaro-winkler距离。文档说它只支持某些语言。我的语言不在列表中。我可以继续使用Fuzzy操作符吗，或者它什么也不做(NOP)？
如果我不能使用Fuzzy运算符来解决我的问题，还有什么替代方法呢？我不完全理解NDATA，但我不认为它适用于我的问题。我已
浏览 3提问于2012-12-07得票数 2
回答已采纳
1回答
我有一个问题，要计算一个相似性度量，为我的最终项目开发一个搜索引擎。
在java中，我必须使用tf，以色列国防军+余弦相似度，我不知道如何计算它。
我有自己的数据库，里面有811份文件。
浏览 3提问于2011-03-28得票数 0
1回答
我正在构建一个将自然语言问题转换为SQL查询的系统。现在，我正在实现的是对一个自然语言问题的重构，使其更加结构化，这样我就可以更容易地将其转换为sql语句。
重构后的语言将遵循以下规则：
他们想要做的事。“查找”“列出”“给予”“他们想要我们检索的属性。它们希望我们匹配的sql架构实体中的表属性
这种重构的语言很棒，可以很容易地转换为SQL，但问题是我正在创建所有名词块和实体的大型组合，这意味着很多句子。未来的开发将有助于最小化这些问题，但这是以后的事情。
因此，从大量的句子中，我需要找出哪一个与原始查询最相似。
所以我的问题是，你会推荐什么样的相似性函数？例如。解析树结构，语义和句法相似性.
浏览 3提问于2019-04-10得票数 0
1回答
我想找到一个库或算法(所以我自己写代码)来识别网页最近的k个邻居，其中网页被定义为一组关键字。我已经完成了提取关键字的部分。
它不需要非常好，只要足够好就行了。
有没有人能建议一个解决方案，或者从哪里开始。我过去看过Yury Lifshits的演讲，但如果可能的话，我希望能有现成的东西。
优先使用Java库。
浏览 0提问于2011-05-15得票数 5
2回答
如何度量两个网页之间的语义关系
、、、、
让我们假设，我正在访问一个大学网页。那里有很多老师的个人资料。虽然这些页面在语法上不相关，但它们在语义上是相关的。如何衡量这种类型的关系？实际上，我应该关注哪个参数来找到关系？
浏览 7提问于2013-05-02得票数 0
2回答
NLP算法原理
、、、
我是一个非常有用的问答网站的新手，而且我的英语也不是很好，很抱歉。
我对一个web项目很感兴趣，我认为它并不难做，而且是一个简化的冲浪。
这个算法是确保孩子是非常简单的，因为它可以快速分析网页内容并找到相关信息。
谁能告诉我，这个算法是如何工作的，我试图做出类似的东西？
这个算法是基于什么原则实现的？
谢谢!
浏览 1提问于2012-01-09得票数 2
回答已采纳
我使用如下的most_similar()方法来获取与给定单词相似的所有单词：
word,score= model.most_similar('apple',topn=sizeofdict)
AFAIK，它的作用是计算给定单词和字典中所有其他单词之间的余弦相似度。当我检查单词和分数时，我可以看到列表中有负分数的单词。这是什么意思？它们是与给定单词具有相反含义的单词吗？
另外，如果它使用余弦相似度，它是如何得到负值的？对于两个文档，余弦相似度在0-1之间变化。
浏览 2提问于2016-01-19得票数 5
我在google play商店上发布了一个名为Securide的android应用程序。但是当我用“Securide”这个词搜索这个应用程序时，play store搜索只显示其中有“security”这个词的应用程序，而我的应用程序Securide没有显示出来。
然而，当使用包名称或公司名称进行搜索时，搜索会返回我的应用程序。此外，当使用谷歌网页搜索中的Securide word搜索时，它会找到并返回我的应用程序链接。
请帮我解决这个问题，以便我的应用程序在搜索其标题时显示出来。
浏览 1提问于2016-12-25得票数 2
我使用k-means对归一化数据进行聚类。我使用了不同的相似度矩阵，如欧几里得、曼哈顿和余弦，当我使用余弦相似度时，Dunn指数为负值。我读到过邓恩指数的取值范围从0到无穷大。使用余弦相似度计算Dunn指数是正确的吗？ 我用过this implementation of Dunn Index。
浏览 94提问于2019-06-12得票数 1
回答已采纳
1回答
我想从我的数据库中删除类似的数据。现在我可以从我的数据库中删除重复的数据并保留一个。
$sql = "UPDATE `clf_ads` SET `enabled`= '0' WHERE adid NOT IN (SELECT * FROM (SELECT MAX(adid) FROM clf_ads GROUP BY adtitle) x)";
if ($conn->query($sql) === TRUE) {
echo "Record deleted successfully";
} else {
echo "Error de
浏览 13提问于2018-12-11得票数 0
1回答
我计算基于余弦相似度的tf-idf矩阵：
tfidf_vectorizer_desc = TfidfVectorizer(min_df=5, max_df=0.8, use_idf=True, smooth_idf=True, sublinear_tf=False, tokenizer=tokenize_and_stem)
%time tfidf_matrix_desc = tfidf_vectorizer_desc.fit_transform(descriptions) #fit the vectorizer to text
sim_desc = cosine_similarity(tfid
浏览 4提问于2016-06-14得票数 0
我想在Elasticsearch中定义一种新的索引方法，因此我将编辑tf idf方法。哪里可以找到TF-IDF elasticsearch的实现？为了实现新方法，我需要操作elasticsearch源代码中的哪些包？
浏览 1提问于2017-04-19得票数 0
1回答
我正在尝试使用推荐实验室来构建一个UBCF并生成推荐。这个过程是可以的，预测似乎是有意义的。我需要的是向我的同行(商业和营销)解释为什么我要向那些用户推荐这些项目。
我的代码是：
library(recommenderlab)
data(Jester5k)
r <- sample(Jester5k, 1000)
rec_ub <- Recommender(r[1:100],method="UBCF", param=list(normalize = "Z-score",method="Cosine", nn=3,minRatin
浏览 2提问于2015-02-18得票数 0
1回答
我正在尝试测量标记之间的相似性。我使用的是默认的en模型。当使用单数名词时，相似性度量按预期工作，但当使用复数形式的相同名词时，相似性度量返回零。
nlp = spacy.load('en')
doc = nlp('apple orange')
doc[0].similarity(doc[1])
返回0.56189166448170025
doc = nlp('apples oranges')
doc[0].similarity(doc[1])
返回0.0
是否需要实现任何预处理步骤才能使度量正常工作？谢谢。
浏览 0提问于2017-09-22得票数 1
这是我的第二个问题，所以，如果有任何错误，请道歉。
我的主要目标是从不同的电子商务网站收集数据，然后比较它们之间的数据。要做到这一点，我需要匹配相同的产品从不同的网站。由于不同的站点编写标题的方式不同，我需要从标题中提取产品的属性才能正确匹配。我使用收集数据，但无法与来自不同站点的同一产品相匹配。
我的尝试：
首先，我收集品牌，模型等，然后以传统的方式与标题相匹配。但是它不能工作，因为它不能收集所有的模型名称进行比较。而且，不同类别的产品属性是不同的，而不是相似的。我正在努力寻找解决方案，这将适用于各种产品。可以学习和识别品牌、型号、属性(RAM、英寸、ROM、照相机等)
我也尝试应用机器学习
浏览 0提问于2018-06-05得票数 1
回答已采纳
1回答
所有关于谱聚类的文献都使用相似度矩阵作为谱聚类算法的输入。
是否也可以使用成对距离矩阵？我还没有看到任何版本的频谱聚类代码会使用parwise距离。我在matlab中实现了谱聚类，它有一个函数pdist，这个函数的输出是成对距离矩阵。
浏览 0提问于2015-05-01得票数 1
1回答
我想为在google上搜索的搜索查询计算某种相似度分数。
这意味着，在其他事情中，单词的顺序并不一定重要。例如：
“阿迪达斯蓝色鞋子”和“蓝色鞋子阿迪达斯”
应该被认为是完全相同的序列，而我认为在许多传统的距离算法中并非如此。
我猜上面的例子可以用余弦相似度解决，但如果我有：
“蓝色阿迪达斯鞋”
我想算法产生一个非常相似的距离，原来的“”阿迪达斯鞋蓝色“
这样的算法存在吗？
浏览 0提问于2017-07-03得票数 0
Stanford提供了NERs来检测POS标签和NERs。但是当我试图分析的时候，我正面临一个问题。这句话如下：
Joseph E. Seagram & Sons, INC said on Thursday that it is merging its two United States based wine companies
下面是我的代码
st = StanfordNERTagger('./stanford- ner/classifiers/english.all.3class.distsim.crf.ser.gz',
浏览 3提问于2018-06-07得票数 1
回答已采纳
我试图找出两个文档，即'document_1‘和'document_2’之间的相似性。我正在使用Doc2Vec Gensim的来寻找相似性评分。
score = model.docvecs.similarity_unseen_docs(trainedModel, document_1, document_2)
print(score)
分数为负值的地方。
这里，document_1和document_2是NLTK的word_tokenize()的结果。
当我们试图找出两个"tokenized“文档之间的相似性时，负分数意味着什么？
P.S:对模型进行了10个文档(每个2
浏览 2提问于2019-11-15得票数 0
1回答
我用sklearn.metrics.pairwise中的cosine_similarity计算了一个余弦相似度矩阵。 Matrix:
2414514 413915 419480 473104 534621 609406 654913 654914 \
2414514 1.000000 0.0 0.0 0.0 0.0 0.0 0.755929 0.755929
413915 0.000000 1.0 0.0 0.0 0.0 1.0 0.000000 0.00000
浏览 9提问于2019-04-02得票数 0
在数学中，向量具有大小和方向。
在数据科学中，为了识别文档的相似性，我们将文档转换为特征向量。然后应用源文档与目标文档特征向量之间的余弦角公式。
然而，余弦公式仅适用于向量。一个矢量应该有两个震级和方向。对于表示为向量的文档，方向在哪里？
浏览 0提问于2020-05-17得票数 1
1回答
我正在使用Wordnet数据库。它只给我一个或两个单词的含义或同义词。如果我想要相似的短语，该怎么做呢？请任何人在这方面帮助我。另外，我在代码中使用了Lucene。有没有办法用lucene做到这一点呢？
WordNetDatabase database = WordNetDatabase.getFileInstance();
for (int i1 = 0; i1 < list1.size(); i1++) {
Synset[] synsets = database.getSynsets(list1.get(i1));
浏览 1提问于2015-05-08得票数 1
我想简单地匹配字段的值，我不关心分数(它总是返回一个匹配)。我不想让elasticsearch给我打分，这可能会导致我的表现变差……或者我错了，我不应该在意？
如下所示的简单查询：
GET /testing/test/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"name": {
"query": "My name h
浏览 1提问于2014-05-04得票数 1
1回答
我正在玩一点图像相似度的游戏。事实上，我是在玩图像检索系统。理想情况下，我想创建某种类型的图像索引，我可以查询它来获得相似的图像。
我现在的想法是将某种均值存储到索引中，每个描述符都可以有不同的特征，例如k- ImageDescriptor -ImageDescriptor-centroid，直方图，...我有一些简单的基于鬼魂的计算-每个特征都有距离函数，该函数的结果乘以它的鬼魂，然后对所有特征求和。最后的和是离我的图像的距离。不确定这是不是一个好的思路？
所以我开始玩直方图。我存储了直方图的索引，然后查询直方图和索引存储的直方图之间的距离。它提供了一些相似之处，但在大多数情况下远不是理想的
浏览 0提问于2010-07-05得票数 3
1回答
我正在尝试建立一个问题回答系统，其中我有一组预定义的问题和他们的答案。对于来自用户的任何给定问题，我必须查找类似的问题是否已经存在于预定义的问题中，并发送答案。如果它不存在，它必须回复一个通用响应。任何关于如何使用NLP实现这一点的想法都会非常有帮助。
提前感谢！！
浏览 2提问于2020-03-15得票数 0
1回答
我想根据用户的技能向他们推荐工作，使用mahout.So是否有任何方法可以定义工作相似性逻辑。我找到了ItemSimilarity接口，但在自定义实现后无法使用它。
浏览 0提问于2014-07-30得票数 2
1回答
我有一个数据集，它是一个csv，有2列“文本”，“名称”。
"Text“列包含新闻文章。
" name“列包含从相应文本中提取的名称。
我必须训练这个数据集上的模型，数据集包含4000多个独特的新闻，其中，一旦你的模型被训练和验证，用户应该能够通过任何文本，它应该提取正确的名称。
我应该使用什么技术并实现它。请提个建议。提前谢谢。
浏览 0提问于2019-08-08得票数 0
1回答
两个词之间的语义距离
、、、
我想要获得一个值来标识单词之间的symantec距离。
我知道从wordnet我可以得到一组词，它们是下义词、同义词……一个特定的单词。
但是，有没有一种方法可以给出两个单词作为输入，并从wordnet中获得代表这两个单词之间距离的值，而不是实际的单词？
浏览 0提问于2013-05-04得票数 0
我正在学习如何使用Pythons Scikit-Learn库进行集群。我有一个句子(字符串)的列表。我想知道，字符串的长度是否会影响silhouette_score。
例如，我有从2个单词到35个单词的句子，我尝试了从2到60个集群的数量，我得到的最大的silhouette_score是7。这会影响到silhouette_score吗？最好是过滤我的数据，这样我就可以选择比字数更接近的句子，例如，将字数从20-25或5-10设置为？
我的代码是这样的：
list_of_comments = data
#cv = TfidfVectorizer(analyzer = 'word'
浏览 0提问于2019-09-07得票数 1
回答已采纳
是否有一种机器学习算法，可以在没有分组或先前分类的情况下对输入进行分类？使用5位数的数据集，用户输入一个随机的5位数( 12345 )，当12345与数据集中的东西相似时，机器能输出“更改”吗?或者当12345或任何类似的东西不存在时，输出“全新”吗？为了澄清这一点，当机器发现与12345类似的东西时，它会做一些类似的“修改”，比如只有12445的数字差，而当不存在类似的数字时，机器会输出“全新的”。
浏览 0提问于2020-11-25得票数 0
在Mahout中，支持使用API方法进行基于项目的推荐：
ItemBasedRecommender.mostSimilarItems(int productid, int maxResults, Rescorer rescorer)
但是在Spark Mllib中，看起来ALS内部的API可以获取推荐的产品，但userid必须通过以下方式提供：
MatrixFactorizationModel.recommendProducts(int user, int num)
有没有一种方法可以根据类似的产品获得推荐产品，而不需要提供用户id信息，就像mahout执行基于项目的推荐一样。
浏览 1提问于2014-12-18得票数 8
1回答
词聚类
、、、
我正在尝试对一些单词进行聚类(以汽车品牌为例)。为了做到这一点，我不能使用k-means或k-medoids，所以我尝试使用Sklearn的。我将它与distance库中的levenshtein或pyxdameraulevenshtein库中的damerau_levenshtein_distance一起使用。
示例如下：
然而，这些指标并不完全是我所需要的。例如，梅赛德斯-奔驰和梅赛德斯的距离为5，与沃尔沃和菲亚特的距离相同。你们知道梅赛德斯-奔驰和梅赛德斯-奔驰之间的相似性得分高于沃尔沃和菲亚特吗？
谢谢，Djokx
浏览 0提问于2017-06-27得票数 0
Scikit-learn的sklearn.metrics.pairwise.cosine_similarity和sklearn.metrics.pairwise.pairwise_distances(..的区别是什么Metric=“余弦”)？
from sklearn.feature_extraction.text import TfidfVectorizer
documents = (
"Macbook Pro 15' Silver Gray with Nvidia GPU",
"Macbook GPU"
)
tfidf_v
浏览 2提问于2016-02-09得票数 7
回答已采纳
1回答
我有一个关于将文本和图像嵌入到语义搜索中的问题。用例是在一个(B2B)市场上的产品搜索，我们有图像(S)和产品的标题和描述。我想让用户同时搜索图像和文本，但我不知道如何组合它们。我们的想法是，第三方产品描述和图像的结合包含了比零件更多的信息--我们知道这对于很多产品来说都是正确的，特别是那些描述质量很低的产品。
我目前的想法是使用剪辑模型嵌入图像，用剪辑/语句转换器模型嵌入文本，将同样的内容应用到查询中，并将两个向量连接起来。如果这两个嵌入都被缩放成单位长度，那么它们应该具有相同的权重，并且对最终的相似性产生相同的影响。但是，我看到这种方法可能是非常有限的，因为我采取两个嵌入，只是将它们粉碎在
浏览 0提问于2023-05-08得票数 3
1回答
当使用匹配查询搜索字符串时，如果fuzziness以分数形式给出，则容忍的错误数将根据输入令牌的长度，根据以下公式计算：length(term) * (1.0 - fuzziness) (参见)
我的问题是，当计算值是非整数时，它是向上还是向下？
浏览 2提问于2014-09-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
