使用scikit linear_kernel进行TF-IDF计算时结果太大
使用scikit-learn中的linear_kernel函数进行TF-IDF计算时，可能会导致结果过大的问题。linear_kernel函数是一种线性核函数，用于计算两个向量之间的内积。在TF-IDF计算中，它可以用于计算文本之间的相似度。
当使用linear_kernel函数计算TF-IDF时，由于TF-IDF矩阵通常是稀疏矩阵，而linear_kernel函数计算的结果是一个完整的矩阵，因此可能会导致结果过大，占用大量的内存空间。
为了解决这个问题，可以考虑使用其他的核函数或者降维技术来减少计算结果的大小。例如，可以使用RBF核函数（径向基函数）或者多项式核函数来代替linear_kernel函数。这些核函数可以更好地处理稀疏矩阵，并且可以通过调整参数来控制计算结果的大小。
另外，还可以考虑使用降维技术，如主成分分析（PCA）或者奇异值分解（SVD），将TF-IDF矩阵降低到较低的维度，从而减少计算结果的大小。这样可以在一定程度上牺牲一些精度，但可以显著减少内存占用。
腾讯云提供了一系列与机器学习和人工智能相关的产品和服务，可以帮助您进行TF-IDF计算和其他相关任务。其中包括腾讯云机器学习平台（https://cloud.tencent.com/product/tcmlp）和腾讯云人工智能开放平台（https://cloud.tencent.com/product/ai）等。您可以根据具体需求选择适合的产品和服务来解决问题。
相关·内容
我正在使用scikit-learn来查找tf-idf值。
我有一组documents，如：
D1 = "The sky is blue."
D2 = "The sun is bright."
D3 = "The sun in the sky is bright."
我想要创建这样一个矩阵：
Docs blue bright sky sun
D1 tf-idf 0.0000000 tf-idf 0.0000000
D2 0.0000000 tf-idf 0.0000000 tf-idf
浏览 0提问于2014-06-04得票数 8
3回答
我使用scikit-learn查找文档的Tf-idf权重，然后使用Naive
贝叶斯分类器对文本进行分类。但是，除了少数词之外，文档中所有词的Tf-idf权重都是负的。但据我所知，负值意味着无关紧要的条件。那么，有必要将整个Tf-idf值传递给贝叶斯分类器吗？如果我们只需要通过其中的一小部分，我们怎么做呢？另外，与linearSVC相比，贝叶斯分类器是更好还是更差？除了使用Tf-idf之外，还有更好的方法在文本中查找标签吗？
谢谢
浏览 0提问于2012-03-13得票数 3
回答已采纳
我想使用TF-IDF运行语义搜索。 这段代码可以工作，但在大型文档语料库上使用时速度非常慢： search_terms = "my query"
documents = ["my","list","of","docs"]
vectorizer = TfidfVectorizer()
doc_vectors = vectorizer.fit_transform([search_terms] + documents)
cosine_similarities = linear_kernel(doc_vectors[0
浏览 39提问于2021-06-16得票数 1
1回答
嗨，对于我推荐的电影，我使用TF-IDF，但我有一个形状错误。
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer(analyzer='word', ngram_range=(1, 2), min_df=0, stop_words='english')
tfidf_matrix = tfidf.fit_transform(X_train.summary)
tfidf_matrix.shape
OutPut：
(3933, 56162)
然后：
f
浏览 2提问于2020-04-27得票数 0
1回答
我在R中四处游玩，以找到tf-idf值。
我有一组documents，如：
D1 = "The sky is blue."
D2 = "The sun is bright."
D3 = "The sun in the sky is bright."
我想要创建这样一个矩阵：
Docs blue bright sky sun
D1 tf-idf 0.0000000 tf-idf 0.0000000
D2 0.0000000 tf-idf 0.0000000 tf-idf
D3 0.00
浏览 0提问于2014-06-03得票数 0
回答已采纳
我运行以下代码将文本矩阵转换为TF-IDF矩阵。
text = ['This is a string','This is another string','TFIDF computation calculation','TfIDF is the product of TF and IDF']
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_df=1.0, min_df=1, stop_word
浏览 2提问于2016-05-01得票数 19
回答已采纳
我从中得到的理解是，如果max_feature =n，这意味着它是根据Tf-IDF值选择前n个特征。我浏览了scikit learn上的TfidfVectorizer文档，但没有正确地理解它。
浏览 0提问于2018-07-06得票数 0
我有大量原始文本的观点语料库(2500)。我想使用scikit-learn库将它们分成测试/训练集。用scikit-learn解决这个问题最好的方法是什么？谁能给我提供一个在测试/训练集中拆分原始文本的例子(我可能会使用tf-idf表示)。
浏览 0提问于2014-09-12得票数 9
回答已采纳
1回答
持久存储Tf-Idf数据
、、、
我想存储TF-IDF矩阵，这样我就不必一直重新计算它。我正在使用scikit learn的TfIdfVectorizer。是将其保存在数据库中，还是将其保存在数据库中更有效？
一些背景:我正在使用k-means聚类来提供文档推荐。由于经常添加新文档，因此我希望存储文档的TF-IDF值，以便可以重新计算聚类。
浏览 2提问于2012-06-19得票数 3
回答已采纳
我有一个非常大的数据集，本质上是文档搜索查询对，我想计算每对的相似度。我计算了每个文档和查询的TF-国防军。我意识到，给定两个向量，可以使用linear_kernel计算相似度。但是，我不知道如何在一组非常大的数据(例如，不对循环)上这样做。
以下是我到目前为止所拥有的：
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import linear_kernel
df_train = p
浏览 3提问于2016-02-16得票数 3
2回答
如何使用scikit learn库中的TF-IDF vectorizer来提取推文的unigrams和bigrams？我想用输出训练一个分类器。 这是来自scikit-learn的代码： from sklearn.feature_extraction.text import TfidfVectorizer
corpus = [
'This is the first document.',
'This document is the second document.',
'And this is the third one.
浏览 30提问于2020-10-28得票数 5
回答已采纳
我有一个数据集，其中包含8列，每列有1482531行，我尝试通过以下方式进行基于内容的编辑系统
在python中使用linear_kernel进行余弦相似性，但半小时后，由于数据集太大，直到错误记忆，如果这是他们解决这个问题的解决方案
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import linear_kernel
浏览 2提问于2018-02-04得票数 3
1回答
我想使用TF-IDF的余弦相似度方法来得到两个单词的语义相似度。首先，我想从wikipedia或word- text中提取这些单词的含义，然后对文本进行预处理并找到TF-IDF。当我在谷歌上搜索这个问题时，我发现为了找到TF-IDF，我们应该有一个训练集和测试集。在我的例子中，哪个是训练集，哪个是测试集？如何使用计算结果计算余弦相似度？
浏览 3提问于2012-10-06得票数 1
回答已采纳
1回答
本文采用K均值算法对部分文本文档进行分类，并对聚类结果进行学习和显示。我想在一个相似矩阵中显示我的集群的相似性。我在scikit学习库中没有看到任何允许这样做的工具。
# headlines type: <class 'numpy.ndarray'> tf-idf vectors
pca = PCA(n_components=2).fit(headlines)
data2D = pca.transform(to_headlines)
pl.scatter(data2D[:, 0], data2D[:, 1])
km = KMeans(n_clusters=4, in
浏览 0提问于2017-07-15得票数 5
回答已采纳
3回答
我正在寻找一个简单的java类，可以计算tf-idf计算。我想对两个文档做相似性测试。我发现了很多使用tf-idf类的大型API。我不想使用大的jar文件，只是为了做简单的测试。请帮帮我！或者至少有人能告诉我怎么找到TF？以色列空军呢？我会计算出结果:)或者你能不能告诉我一些好的java教程。请不要告诉我找google，我已经找了3天了，什么也找不到:(请也不要让我去Lucene :(
浏览 0提问于2009-12-25得票数 2
回答已采纳
1回答
我正在尝试通过几个文本获得单词的tf-idf总分。我遵循这里看到的手动计算tf-idf的方法：
我用这些句子：‘男人出去散步了’，‘孩子们围坐在火堆旁’。
结果可以在这个pandas数据框表中看到：
用于显示tf-idf结果的字典可以在这里看到：
[{'a': 0.09902102579427789, 'for': 0.09902102579427789, 'man': 0.09902102579427789, 'out': 0.09902102579427789, 'the': 0.0, 'wa
浏览 14提问于2020-02-23得票数 1
我正在使用sift处理视觉单词包，然后我想集成tf-idf，然后将其提供给支持向量机，即在scikit learn中找到的中的nusvc。我该怎么做呢？有什么想法吗？
浏览 17提问于2017-02-02得票数 0
我正在使用scikit-learn通过以下代码训练一个基于TF-IDF特征向量的文本分类模型： model = naive_bayes.MultinomialNB()
feature_vector_train = TfidfVectorizer().fit_transform(X)
model.fit(self.feature_vector_train, Y) 我需要按TF-IDF权重的降序对提取的特征进行排序，并将它们分组为两个不重叠的特征集，最后训练两个不同的分类模型。如何将主特征向量分组为奇数排序集合和偶数排序集合？
浏览 14提问于2019-09-18得票数 0
回答已采纳
1回答
使用R和tm，我已经加载和清理了一堆文本文档，并将它们制成语料库。在那之后，我使用tf-idf构建了他们的DTM，我可以将其用于所有类型的分类聚类算法。到现在为止还好。
现在，让我们假设我有一个新文档，并尝试计算它到语料库中文档的距离。当然，我需要将我应用于原始集合的所有变换应用于它。但是我不知道如何计算新文档的tf-idf向量，因为tf-idf依赖于整个集合，而不是单个文档。将新文档添加到语料库并重新计算其tf-idf DTM不能正常工作:不仅效率低下，而且每个新文档都会碰上已经看到的文档的值，这将改变我可能将它们作为训练集运行的任何聚类分类算法的结果。
因此，我的问题是，如何使用R和tm计
浏览 15提问于2017-07-03得票数 0
1回答
我有一个大数据集，我使用Apache Mahout来训练一个简单的分类器。我使用分类器对一堆文档进行分类(就像我的测试集一样)。我对文档进行分类的方法如下：
我找到了测试文档的规范化tf-idf向量。为了找到idf，我只考虑了测试文档，而不是培训。
但是，在对测试文档进行分类之后，我将收到更多要分类的文档，并且我需要首先计算新文档的tf-idf。一种解决方案是重新计算所有测试文档(旧文档和新文档)的tf-idf，然后对它们进行重新分类。在这种情况下，每次我收到新文档时，我都需要重新计算tf-idf。我的问题是，是否有更好的解决方案来进行在线分类？
浏览 2提问于2015-07-03得票数 0
3回答
我想用Python构建一个基于内容的推荐系统，它使用多个属性来判断两个项目是否相似。在我的例子中，"items“是由C#包管理器()托管的包，它具有各种属性，如名称、描述、标记，这些属性可以帮助识别类似的包。
我有一个原型推荐系统，它目前只使用单个属性，即描述，来决定包是否相似。它计算TF-IDF对描述的排名，并基于此打印出排名前10的推荐：
# Code mostly stolen from http://blog.untrod.com/2016/06/simple-similar-products-recommendation-engine-in-python.html
def t
浏览 0提问于2018-01-14得票数 1
我试图计算所有值之间的余弦相似度。
1000*20000次计算花费了我超过10分钟的时间。
代码：
from gensim import matutils
# array_A contains 1,000 TF-IDF values
# array_B contains 20,000 TF-IDF values
for x in array_A:
for y in array_B:
matutils.cossim(x,y)
有必要使用gensim软件包来获得tf-idf值并进行相似度计算。
有人能给我一些建议和指导来加快时间吗？
浏览 3提问于2017-09-18得票数 0
我有一组文档，我在其中搜索我的关键字。我已经计算了关键字和所有文档的tf-IDF值。假设我将所有文档的tf-IDF值存储在一个数组中，如何使用它来计算余弦相似度？感谢您对代码的任何帮助！
浏览 1提问于2012-04-23得票数 0
回答已采纳
1回答
我是刚接触scikit的人，我正在学习下面的例子
然而，我想知道，如果我想要分类的字符串A和B都被归入来自朴素贝叶斯的同一文档组，我是否能够找到哪个字符串更有可能被归入文档组？
例如，如果文档组是'computer graphics‘，我有一个字符串"Computers are cool"，另一个字符串是"OpenGL和CUDA are cool"，虽然它们都可能被归入该文档组，但第二个字符串在该文档组下的分类可能更强，因为它的tf-idf分数可能更高。在我对它们进行分类之后，有没有办法找出它们，这样我就可以找出哪个字符串更能代表这个类别？
浏览 2提问于2015-04-22得票数 1
我正在尝试使用Sklearn的TfidfVectorizer对象获取单个文档的tf-idf向量。我根据一些训练文档创建了一个词汇表，并使用fit_transform训练TfidfVectorizer。然后，我希望找到任何给定测试文档的tf-idf向量。
from sklearn.feature_extraction.text import TfidfVectorizer
self.vocabulary = "a list of words I want to look for in the documents".split()
self.vect = TfidfVectori
浏览 1提问于2013-11-22得票数 37
回答已采纳
1回答
我已经使用下面的代码在大约2000万个文档上生成了一个tf-国防军模型，它运行得很好。问题是，当我试图计算使用linear_kernel时的相似分数时，内存使用量就会崩溃：
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import linear_kernel
train_file = "docs.txt"
train_docs = DocReader(train_file) #DocReader is a generator for indi
浏览 3提问于2017-09-26得票数 0
回答已采纳
我希望在flask 'reommendationSearch‘中引入一个外部模块，它本质上是基于相似关键词的频率来计算电影标题的相似度
我的问题出现在试图将其与flask集成时，其中“title”是“search_string”。错误：‘索引：'NoneType’对象没有‘AttributeError’属性。下面是回溯：
烧瓶代码：
from flask import Flask, render_template, flash, redirect, url_for, session, logging, request
from wtforms import Form,Stri
浏览 0提问于2018-02-21得票数 0
我正在考虑创建一个搜索引擎，因为我可以使用关键字从预处理的pdf文件中获取句子(表示文档)。
我想知道在scikit中是否有一个内置的函数--学习以类似于一袋单词输出的方式显示数据，这意味着我将所有的单词作为列(在熊猫中)，所有的文档作为行，tf-idf值作为值。
浏览 3提问于2020-03-23得票数 0
回答已采纳
1回答
我正在使用支持向量机进行文本分类，但基本上我对测试集的特征向量的计算感到困惑。
对于训练特征向量，我将TF-IDF向量用于每个训练数据，并使用TF-IDF值构建了一个特征矩阵docs x term。
但是如何计算测试集的特征向量呢？我应该只使用训练集中的TF-IDF值来计算它吗？
例如:在特定单词"apple“的训练集中，文档频率是5。对于测试集，我应该使用值5来表示"apple”吗？还是根据测试集重新计算TF-IDF？？或者更确切地说，我在计算特征向量时走错了路吗？？
提前感谢！
浏览 2提问于2013-04-21得票数 2
回答已采纳
2回答
我正在尝试实现，但对向量部分感到困惑。
这是我所做的：
对于每个文档，我为其中的每个单词生成tf-idf，并将其存储在STL映射中。然后利用余弦相似度进行算法与实际单词的匹配。
我应该在哪里使用词干部分？
我是不是应该先计算词干，然后计算词干的tf-idf？
我应该在算法中只使用词干的单词吗？
使用词干提取不会降低结果吗？
浏览 2提问于2013-07-18得票数 1
我一直在尝试确定一组文档之间的相似度，我正在使用的方法之一是与TF-IDF结果的余弦相似度。
我尝试使用sklearn和gensim的实现，它们给出了类似的结果，但我自己的实现得到了不同的结果。
经过分析，我注意到他们的实现与我研究和遇到的不同：
Sklearn和gensim使用原始计数作为TF，并对结果向量应用L2范数。
另一方面，我发现的实现将规范化术语计数，例如
TF = term count / sum of all term counts in the document
我的问题是，它们的实现有什么不同？它们最终是否会提供更好的结果，用于集群或其他目的？
编辑(这样问题就更清楚了)：
浏览 1提问于2017-05-22得票数 1
我了解如何使用向量器获取IDF值和词汇表。对于词汇，单词的频率是值，单词是字典的关键字，但是，我希望值是idf值。
我不能尝试任何东西，因为我不知道如何使用sklearn。
from sklearn.feature_extraction.text import TfidfVectorizer
# list of text documents
text = ["The quick brown fox jumped over the lazy dog.",
"The dog.",
"The fox"]
# create
浏览 0提问于2019-07-27得票数 0
1回答
您好，我正在使用Gensim来查找文档之间的相似度，因此我对文档进行TF-IDF并计算余弦相似度。当我有新文档时，我可以使用index[tfidfvec]计算这个文档与以前文档的相似度，但是这样TF-IDF不会更新，并且在相似度计算中不考虑新词。有没有什么解决方案可以快速更新TF-IDF而无需重新计算整个矩阵，或者对我的问题有什么最好的解决方案？
浏览 2提问于2018-12-26得票数 2
1回答
我有一个包含两列数据的pandas数据帧。第一列有文本，第二列有浮点值 cleaned_text | interaction_duration
us unveils world powerful supercomputer beat china us unveil world powerful supercomputer call summit beat previous record holder 1.0
second summit server reportedly take size two tennis court 2.3
philippinesa category fault
浏览 16提问于2020-10-27得票数 0
我正在做基于TF-IDF向量空间模型的文本分类，我只有不超过3000 samples.For的公平评估，我正在使用5折交叉验证对分类器进行评估，但令我困惑的是，是否有必要在每次折叠交叉验证中重建TF-IDF向量空间模型。也就是说，在每个折叠交叉验证中，我是否需要重新构建词汇表并重新计算词汇表中的IDF值？
目前，我正在基于scikit-learn工具包进行TF-IDF变换，并使用SVM训练我的分类器。我的方法如下:首先，我将手头的样本除以3:1的比例，其中75%的样本用于拟合TF-IDF向量空间Model.Herein的参数，该参数是词汇表的大小和其中包含的术语，以及vocabulary.Th
浏览 1提问于2017-09-02得票数 12
在我实例化一个scikit模型(例如LinearRegression)之后，如果我多次调用它的fit()方法(使用不同的X和y数据)，会发生什么？它是否适合数据上的模型，就像我只是重新实例化模型(即从头开始)一样，还是将之前调用fit()时已经拟合的数据保存到帐户中
尝试使用LinearRegression (也查看它的源代码)，在我看来，每次我调用fit()时，它都是从头开始的，忽略了之前对同一方法的任何调用的结果。我想知道这是否在一般情况下是正确的，我可以依赖于所有scikit学习的模型/管道的行为。
浏览 2提问于2018-04-15得票数 51
回答已采纳
1回答
不平衡数据的样本权重？
、、、
我有一个高度不平衡的三个类的数据集。为了解决这个问题，我在sample_weight中应用了XGBClassifier数组，但是我没有注意到建模结果中的任何变化？分类报告中的所有指标(混淆矩阵)都是相同的。执行是否有问题？
类比：
military: 1171
government: 34852
other: 20869
示例：
pipeline = Pipeline([
('bow', CountVectorizer(analyzer=process_text)), # convert strings to integer counts
('tfi
浏览 0提问于2020-03-13得票数 0
1回答
我目前正在尝试使用Sklearn实现LSA，以便在多个文档中查找同义词。以下是我的代码：
#import the essential tools for lsa
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.decomposition import TruncatedSVD
from sklearn.metrics.pairwise import cosine_similar
浏览 2提问于2015-06-02得票数 8
回答已采纳
1回答
我有一列短句的星星之火数据，还有一个带有范畴变量的列。我想在句子上执行tf-idf，在分类变量上执行one-hot-encoding，然后一旦它变得更小，就输出到驱动程序上的稀疏矩阵(对于一个scikit-learn模型)。
以稀疏的形式从火花中获取数据的最佳方法是什么？在稀疏向量上似乎只有一个toArray()方法，它输出numpy数组。然而，文档中确实有这样的说法: say稀疏数组。
还请记住，tf_idf值实际上是稀疏数组的一列。理想情况下，最好将所有这些特性放到一个大型稀疏矩阵中。
浏览 16提问于2016-11-11得票数 12
回答已采纳
1回答
我正在使用python2.7和scikit-学习找到项目描述之间的余弦相似性。
A有一个df，例如：
items description
1fgg abcd ty
2hhj abc r
3jkl r df
我做了以下程序：
1)对每个description进行标记化和词干处理
2)利用tf-idf将语料库转换成向量空间。
3)计算每个描述文本之间的cosine distance作为相似度的度量。distance = 1 - cosinesimilarity(tfidf_matrix)
我的目标是拥有这样的items相似矩阵，并回答这样的问题：“1ffg和2hh
浏览 0提问于2016-02-18得票数 1
回答已采纳
我正在尝试使用solr v2.2创建标记云。我已经读得够多了，但我在网上找不到任何适合新手的例子。我想要做的是；
我有一个字段；
<field name="content" stored="true" indexed="true" multiValued="true" termVectors="true"/>
我正在尝试获取单词的tf和IDF值。
到目前为止，我所做的是；
当我输入以下查询时
localhost/solr/tvrh/?q=queryString&version=2.2&i
浏览 0提问于2012-11-01得票数 0
回答已采纳
我在elasticsearch上建立了一个索引，里面装满了文档。如果我删除了该索引上的所有文档，但保留了该索引本身，那么它是否会保留该字段上tf-idf评分中使用的标记？也就是说，如果我加载新文档，它们是用索引数据的旧内容重新标记和重新分析的，还是结果是全新的，就好像旧文档从未存在过一样？在删除所有文档时，评分数据中是否有记忆？
浏览 1提问于2015-01-21得票数 0
我正在尝试使用scikit-learn中的Tf-idf向量器，使用来自NLTK的西班牙语停用词：
from nltk.corpus import stopwords
vectorizer = TfidfVectorizer(stop_words=stopwords.words("spanish"))
问题是我得到以下警告：
/home/---/.virtualenvs/thesis/local/lib/python2.7/site-packages/sklearn/feature_extraction/text.py:122: UnicodeWarning: Unicode
浏览 9提问于2014-08-22得票数 3
“在大型语料库中使用Tf-Idf方法的一个本质是，使用的语料库越大，术语的唯一权重就越多。这是因为语料库中文档大小或文档长度的增加使得语料库中两个术语的权重值重复的概率较低。也就是说，Tf-Idf方案中的权重可以呈现权重的指纹。在小语料库中，Tf-Idf不能造成这种差异，因为有巨大的潜力找到具有相同权重的两个术语，因为它们在每个文档中以相同的频率共享相同的源文档。通过在抄袭检测领域中使用Tf-Idf加权方案，根据语料库的大小，该特征可以成为反对者和支持者。
这是我从tf-idf技术中推导出来的。是真的吗？
是否有任何链接或文档可以证明我的结论؟
浏览 2提问于2017-07-01得票数 6
我的数据库中大约有1600篇文章，每篇文章都预先标记了以下类别之一：
Technology
Science
Business
World
Health
Entertainment
Sports
我正在尝试使用sci-kit learn来构建一个对新文章进行分类的分类器。(我想我会将我的训练数据一分为二，用于训练和测试？)
我希望使用tf-idf，因为我没有停用词的列表(虽然我可以使用NLTK仅提取形容词和名词，但我宁愿使用scikit-learn全文)。
我已经阅读了scikit-learn上的所有文档，但它们的示例涉及单词出现和N-gram(这很好)，但它们从未指定如何将一段数据绑定到标签。
浏览 0提问于2013-10-13得票数 7
3回答
受答案的启发，我试图在训练有素的tf-国防军向量器和新文档之间寻找余弦相似性，并返回类似的文档。
下面的代码查找第一个向量的余弦相似性，而不是一个新的查询。
>>> from sklearn.metrics.pairwise import linear_kernel
>>> cosine_similarities = linear_kernel(tfidf[0:1], tfidf).flatten()
>>> cosine_similarities
array([ 1. , 0.04405952, 0.11016969,
浏览 1提问于2016-09-25得票数 6
2回答
我从Scikit learn了解如何使用K-Means：学习文本聚类
在该示例中，可选地使用LSA (使用SVD)来执行降维。
为什么这是有用的？维度(特征)的数量已经可以使用"max_features“参数在TF-IDF向量化器中进行控制。
我知道LSA (和LDA)也是主题建模技术。聚类的不同之处在于，文档属于多个主题，但只属于一个聚类。我不明白为什么要在K-Means聚类的上下文中使用LSA。
示例代码：
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import
浏览 16提问于2017-02-22得票数 5
回答已采纳
我有一个文章的数据集。一些在线示例通常对语料库进行硬编码。如果我想要计算我自己的数据集的TF-IDF，我应该怎么做？
注意:我创建了一个数据帧来存储这些数据。以下是我的代码
pip install scikit-learn
from sklearn.feature_extraction.text import CountVectorizer
corpus = merged_df['title']
vectorizer = CountVectorizer()
wordFrequency = vectorizer.fit_transform(corpus)
word = ve
浏览 3提问于2020-08-07得票数 0
我正在使用Python2.7.10，并且已经使用pip安装了scikit-0.15.2，并且我已经安装了"numpy-1.1.10“和"scipy-0.16.0”，它工作得很好，但是当我尝试从sklearn导入TfidfVectorizer来构造带有tf-IDF值的术语文档矩阵时
from sklearn.feature_extraction.text import TfidfVectorizer
我得到一个错误：
Traceback (most recent call last):
File "<pyshell#1>", line 1, in
浏览 0提问于2015-10-18得票数 1
我正在努力寻找短句和文章之间的相似之处。我使用了许多现有的方法，如tf-idf，word2vec等，但结果还不错。我发现的最相关的度量是单词移动距离，然而，它的结果并不比其他度量好。我知道这是一个具有挑战性的问题，然而，我想知道是否有任何新方法可以在更高或更高的概念级别上找到近似相似性，而不仅仅是匹配单词。特别是，有没有其他的新方法，比如单词移动距离，它着眼于句子或文章的稍微高一点的语义？
浏览 1提问于2017-07-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
