Spark / PySpark - GMM聚类返回完全等概率且仅返回1个聚类
Spark是一个开源的大数据处理框架，它提供了高效的分布式计算能力，可以处理大规模数据集。PySpark是Spark的Python API，允许使用Python编写Spark应用程序。
GMM（Gaussian Mixture Model）聚类是一种基于概率模型的聚类算法，它假设数据集由多个高斯分布组成，通过估计每个高斯分布的参数来进行聚类。
当GMM聚类返回完全等概率且仅返回1个聚类时，意味着数据集中的样本点无法明确地被分配到某个特定的聚类中。这种情况可能发生在以下情况下：
- 数据集中的样本点分布非常均匀，没有明显的聚集趋势。
- 数据集中的样本点之间存在较大的噪声或离群点，导致聚类结果不明确。
- 聚类算法的参数设置不合理，导致聚类结果不准确。
在这种情况下，可以考虑以下解决方案：
- 调整聚类算法的参数，例如增加聚类的数量或调整高斯分布的协方差矩阵。
- 对数据集进行预处理，例如去除离群点或噪声。
- 使用其他聚类算法进行比较，例如K-means聚类算法或层次聚类算法。
腾讯云提供了一系列与大数据处理和机器学习相关的产品和服务，可以用于处理GMM聚类等任务。以下是一些推荐的腾讯云产品和产品介绍链接：
- 腾讯云大数据计算服务（Tencent Cloud Big Data Computing Service）：提供了强大的大数据处理能力，包括Spark集群、Hadoop集群等，可以用于高效地处理大规模数据集。详细信息请参考：腾讯云大数据计算服务
- 腾讯云机器学习平台（Tencent Cloud Machine Learning Platform）：提供了丰富的机器学习算法和模型训练、部署的能力，可以用于GMM聚类等任务。详细信息请参考：腾讯云机器学习平台
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
我尝试在给定的DataFrame上应用GMM聚类算法(与https://spark.apache.org/docs/latest/ml-clustering.html中一样)，如下所示： vector.show(1) ID |功能 33.0 |0.01.0 27043.0，.... type(vector) pyspark.sql.dataframe.DataFrame type(vector.select('features')) pyspark.sql.dataframe.DataFrame vector.printSchema() 根部 |-- id:双精度(nulla
浏览 32提问于2019-05-31得票数 2
1回答
如何使用高斯混合模型进行聚类？
、、、、
我一直在使用k-Means将数据聚类为2类。然而，现在，我想使用一种不同的方法，使用高斯混合模型将数据聚类到两个类别中。我已经阅读了Scikit-Learn文档和其他SO问题，但我无法理解如何在我目前的上下文中使用GMM进行2类聚类。 我可以很容易地使用k-Means将数据聚类为2类，如下所示： import pandas as pd
from scipy import stats
from sklearn.cluster import KMeans
import numpy as np
df = pd.read_pickle('my_df.pkl')
clmns = df
浏览 31提问于2019-03-15得票数 0
我为我的算法实现了mllib中提供的默认gmm模型。我反复发现，无论我启动多少个集群，最终得到的权重总是相等地等待。权重不调整有什么特别的原因吗？我的实现是错误的吗？
import org.apache.spark.mllib.clustering.GaussianMixture
import org.apache.spark.mllib.clustering.GaussianMixtureModel
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.ml.feature.VectorAssembler
i
浏览 1提问于2016-03-23得票数 1
1回答
加权GMM分量
、、
如何确定每个GMM分量的权重
对于高斯混合模型(GMM)，用于分类和聚类。每个高斯分量的权重被任意设置为，这是分量总数的平均值。
这是大多数教科书、论文和实际使用中的常识。
关于这个问题有什么理论上的工作吗？
抑或，这真的只是一个微不足道的问题呢？
任何线索都欢迎
浏览 5提问于2013-04-26得票数 0
我们试图训练一个高斯混合模型(GMM)与一个指定的初始模型在python与MLLIB在星火上。pyspark的1.5.1博士说，我们应该使用一个GaussianMixtureModel对象作为GaussianMixture.train方法的"initialModel“参数的输入。在创建我们自己的初始模型(例如，计划使用Kmean )之前，我们只想测试这个场景的用例。因此，我们尝试从输出的第一次训练中使用GaussianMixtureModel初始化第二次训练。但是，这个微不足道的场景会引发一个错误。你能帮我们确定这是怎么回事吗？非常感谢纪尧姆
PS:我们使用Hadoop2.6运行(py
浏览 3提问于2015-11-25得票数 5
回答已采纳
1回答
我知道Gaussian mixture model是K-means的一个推广，因此应该更准确。
但我无法从下面的聚类图像中看出，为什么用K-means获得的结果在某些区域更准确(比如斑点噪声以浅蓝色点显示，在Gaussian Mixture Model结果中持续存在，而在K-means结果中不存在)。
下面是这两种方法的matlab代码：
% kmeans
L1 = kmeans(X, 2, 'Replicates', 5);
kmeansClusters = reshape(L1, [numRows numCols]);
figure('name', '
浏览 2提问于2016-03-31得票数 3
回答已采纳
eval()方法在sklearn.mixture.GMM下的学习版本0.11被废弃了。在最新版本0.19.2中是否有类似的方法或解决办法？
浏览 0提问于2018-08-09得票数 0
回答已采纳
1回答
我建立了一个GMM模型，并使用它来进行预测。
bead = df['Ce140Di']
dna = df['DNA_1']
X = np.column_stack((dna, bead)) # create a 2D array from the two lists
#plt.scatter(X[:,0], X[:,1], s=0.5, c='black')
#plt.show()
gmm = GaussianMixture(n_components=4, covariance_type='tied')
gmm.fit(X)
浏览 3提问于2019-11-20得票数 1
回答已采纳
我正在使用以下代码创建一个聚类模型，然后将每个记录分类到某个聚类：
from pyspark.mllib.clustering import KMeans
from pyspark.mllib.linalg import Vectors
spark_df = sqlContext.createDataFrame(pandas_df)
rdd = spark_df.rdd.map(lambda data: Vectors.dense([float(c) for c in data]))
model = KMeans.train(rdd, 2, maxIterations=10, initia
浏览 6提问于2016-09-17得票数 2
回答已采纳
1回答
我从上读到了GMM的概念。这对我很有帮助。我也为fisheriris实现了GMM，但我没有使用fitgmdist函数，因为我没有它。所以我使用了来自的代码。
当我读到时，Amro可以用它的标签来绘制结果，即setosa、virginica和versicolor。他是怎么做到的？经过几次迭代后，我只得到了mu、Sigma和体重。根本没有标签。我想将标签(setosa、virginica和versicolor)放到GMM迭代中的混合模型中。
浏览 6提问于2014-10-16得票数 0
1回答
高斯混合模型作为分类器？
、、、、
我正在学习GMM聚类算法。我不明白它怎么能被用作分类器。以下是我的想法：
1) GMM是一种无监督的ML算法。至少这是sklearn对其进行分类的方式。
2)无监督方法可以对数据进行聚类，但不能进行预测。
然而，sklearn的用户指南显然应用GMM作为虹膜数据集的分类器。
如果我不得不猜测，也许在聚类之后，每个集群被分配给一个基于某种多数表决的类标签。但是，我找不到任何文件。有人能更清楚地了解这一过程从无人监督到监督学习吗？
一个相关的问题:当使用GMM作为分类器时，简单地制作n_components=n_classes而不是检查AIC、BIC等是否是一种常见的做法？
浏览 0提问于2019-02-20得票数 7
回答已采纳
我目前正在寻找Apache Spark (Scala/Java)中的一种算法，该算法能够对具有数字和分类特征的数据进行聚类。
据我所知，有一个k-medoids和k-prototypes for pyspark ()的实现，但我无法确定与我目前正在使用的Scala/Java版本类似的实现。
对于运行Scala的Spark，有没有其他推荐的算法来实现类似的事情？或者我忽略了什么，实际上可以在我的Scala项目中使用pyspark库？
如果您需要进一步的信息或澄清，请随时询问。
浏览 3提问于2017-08-04得票数 1
1回答
我有一个包含70列和440万行的数据集。我想对它执行聚类。我首先做了TF-IDF，然后我使用了K-means聚类，对分k-means和高斯混合模型(GMM)。其他技术给出了指定数量的集群，而GMM只给出了一个集群。例如，在下面的代码中，我想要20个集群，但它只返回1个集群。发生这种情况是因为我有很多列，还是仅仅是因为数据的性质？
gmm = GaussianMixture(k = 20, tol = 0.000001, maxIter=10000, seed =1)
model = gmm.fit(rescaledData)
df1 = model.transform(rescaledData
浏览 7提问于2018-09-07得票数 2
1回答
我使用2个类训练了GMM模型。我还测试了一些训练好的GMM模型的样本数据。最后，我想得到每个类的gmm的概率。
我使用了名为predict_proba的sklearn GaussianMixture函数。但它在数组中显示。怎么才能拿到百分比呢？
for i in range(len(models)):
gmm = models[i] #checking with each model one by one
scores = np.array(gmm.score(vector))
a=gmm.predict_proba(vector)
print a.sh
浏览 3提问于2019-06-28得票数 0
3回答
理解高斯混合模型的概念
、、、、
我试图通过阅读在线资源来理解GMM。我已经使用K-means实现了聚类，并正在查看GMM与K-Means的比较结果。
以下是我的理解，如果我的概念是错的，请告诉我：
GMM类似于KNN，在这两种情况下都实现了聚类。但在GMM中，每个簇都有自己独立的均值和协方差。此外，k-means执行数据点到集群的硬分配，而在GMM中，我们得到独立高斯分布的集合，并且对于每个数据点，我们都有属于其中一个分布的概率。
为了更好地理解它，我使用MatLab对其进行了编码并实现了所需的集群。我使用SIFT特征进行特征提取。并且已经使用k-means聚类来初始化值。(这来自文档)
%images is a 459 x
浏览 4提问于2014-09-24得票数 25
回答已采纳
4回答
是否有在结构化数据中执行聚类的深度学习文献/参考资料？我知道这可以使用Kmeans，GMM等来完成，但是有没有可能使用深度神经网络等来完成聚类分析呢？谢谢。
浏览 0提问于2019-02-01得票数 0
1回答
我正在尝试用不同的训练词训练多个GMM模型。然后我试图用一个看不见的测试词来测试我的模型，我得到了负值。你知道我做错了什么吗？
from python_speech_features import mfcc
from python_speech_features import delta
from sklearn.mixture import GaussianMixture
import pandas as pd
import scipy.io.wavfile as wav
import os, glob
import numpy as np
正在读取所有培训文件
rate = []#rea
浏览 23提问于2018-03-01得票数 0
我正在使用PySpark对数据集执行聚类。为了找到集群的数量，我对一系列值(2,20)执行了聚类，并为k的每个值找到了k(在集群内的平方和)值。在这里我发现了一些不寻常的东西。根据我的理解，当增加簇数时，wsse会单调地减少。但结果我却不这么说。我只显示前几个集群的wsse。
Results from spark
For k = 002 WSSE is 255318.793358
For k = 003 WSSE is 209788.479560
For k = 004 WSSE is 208498.351074
For k = 005 WSSE is 142573.272672
For k
浏览 1提问于2018-05-18得票数 4
回答已采纳
1回答
利用聚类作为特征改进分类
、、、、
我试图通过进行聚类并将集群数据作为另一个特性来改进我的分类结果(或者单独使用它而不是所有其他特性-还不确定)。
因此，假设我使用的是无监督算法- GMM：
gmm = GaussianMixture(n_components=4, random_state=RSEED)
gmm.fit(X_train)
pred_labels = gmm.predict(X_test)
利用训练数据对模型进行训练，并通过测试数据对聚类进行预测。
现在，我想使用一个分类器(例如KNN)，并在其中使用集群数据。所以我试着：
#define the model and parameters
knn = KNei
浏览 2提问于2020-06-12得票数 0
回答已采纳
3回答
我正在学习非线性聚类算法，我偶然看到了这个二维图。我想知道哪种聚类算法和超参数组合可以很好地对数据进行聚类。
就像人类会聚集这5个尖峰一样。我希望我的算法能做到这一点。我尝试了KMeans，但它只是水平地或垂直地进行聚类。我开始使用GMM，但无法为所需的集群获得正确的超参数。
浏览 0提问于2019-05-31得票数 6
回答已采纳
1回答
据我所知：
GMM是一种能模拟N个子种群正态分布的概率模型。GMM中的每个分量都是高斯的，distribution.HMM是一个带有隐藏状态的统计马尔可夫模型。当数据连续时，每个隐藏状态都被建模为高斯分布。
如果这两个信息是正确的，GMM和HMM有什么区别？
另外，在时间序列的情况下(连续数据)，每个状态是一个且唯一的一个高斯分布？有没有发射概率矩阵？
谢谢你的帮助！)
浏览 2提问于2019-11-18得票数 3
回答已采纳
1回答
下面给出了一段代码，它生成高斯分布并对数据进行采样：
input = pd.read_csv("..\\data\\input.txt", sep=",", header=None).values
gmm = GMM(n_components=5).fit(input)
sampled = gmm.sample(input.shape[0], random_state=42)
original_label = gmm.predict(input)
generated_label = gmm.predict(sampled)
return sampled
当我检查
浏览 1提问于2017-12-29得票数 0
我标记了2D数据。集合中有4个标签，我知道每一个点与它的标签的对应关系。我想，给出一个新的任意数据点，找出它有四个标签中每个标签的概率。它必须属于一个，也是唯一的一个标签，所以概率应该是1。
到目前为止，我所做的是在与每个标签相关的数据点上培训4个独立的sklearn (sklearn.mixture.GaussianMixture)。应该注意的是，我不希望训练一个包含4个组件的GMM，因为我已经知道了标签，并且不想以比我已知的标签更糟糕的方式重新聚类。(似乎有一种方法可以为Y=函数提供fit()标签，但我似乎无法让它发挥作用)。
在上面的图中，点是用已知的标签着色的，而等高线代表了
浏览 0提问于2018-11-26得票数 4
回答已采纳
假设为我提供了parquets数据的以下分区：
.
└── data/
├── product=soda/
│ ├── <hash>_toto.parquet
│ ├── ...
│ └── <hash>.parquet
└── product=cake/
├── <hash>.parquet
└── ...
我想使用PySpark读取数据，但不包括包含<hash>_toto.parquet的给定parquets列表。
我可以读取整个分区数据，但我不知道如何排除其
浏览 8提问于2022-01-20得票数 1
回答已采纳
2回答
我使用sklearn高斯混合模型算法(GMM)对我的数据(75000，3)进行了聚类。我有4个簇。我的数据中的每个点都代表了一个分子结构。现在我想要得到每个簇的最具代表性的分子结构，我知道这是簇的质心。到目前为止，我已经尝试使用gmm.means_属性来定位位于集群中心的点(结构)，但是这个确切的点并不对应于任何结构(我使用了numpy.where)。我需要获得最接近质心的结构的坐标，但我在模块()的文档中找不到执行此操作的函数。如何获得每个集群的代表性结构？
非常感谢你的帮助，任何建议都将不胜感激。
(因为这是一个一般性问题，我没有发现有必要添加用于集群或任何数据的代码，如果有必要，请告诉我
浏览 0提问于2017-11-21得票数 3
我正在查看RDD的分区
>>> rdd = sc.parallelize(range(10), 5)
>>> rdd.collect()
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> rdd.glom().collect()
[[0, 1], [2, 3], [4, 5], [6, 7], [8, 9]]
>>> rdd.mapPartitions(lambda x: [x]).collect()
[range(0, 2), range(2, 4), range(4, 6), range(6
浏览 2提问于2018-06-28得票数 1
我正在尝试应用MLlib中提供的ALS矩阵分解。下面是我的代码
from pyspark.sql.types import StringType
from pyspark import SQLContext
sqlContext = SQLContext(sc)
t1 =
sqlContext.read.csv("/user/hadoop/personalization/test1.csv",header=False)
from pyspark.mllib.recommendation\
import ALS,MatrixFactorizationMode
浏览 0提问于2017-04-13得票数 0
我使用Smark-1.5.2来使用GaussianMixture对数据集进行聚类。除了结果的GaussianMixtureModels之外，没有其他错误发生，它们的权重是相同的。达到指定公差所需的迭代次数约为2，这似乎太低了。
我可以调整哪些参数以使集群以不同的值形成？
import org.apache.spark.SparkContext
import org.apache.spark.rdd._
import org.apache.spark.mllib.clustering.GaussianMixture
import org.apache.spark.mllib.linalg.{Ve
浏览 5提问于2016-09-02得票数 2
回答已采纳
关于使用pyarrow函数将火花df转换为熊猫df，我收到以下警告：
UserWarning:不推荐pyarrow.open_stream，请使用pyarrow.ipc.open_stream
我正在使用python3.7版本和Pyspark 2.4.3版本，在使用Pyarrow函数将其转换为熊猫时，pyspark的大小是170000行和40列，尽管获得了完整的数据，但我只得到了61585行和40列作为输出。
train_set.count()
170000
spark.conf.set("spark.sql.execution.arrow.enabled",
浏览 1提问于2019-06-20得票数 4
1回答
在Weka中，有一个名为基于Make密度的集群的聚类算法。当查看它的属性时，它以一个集群器作为基础集群器(我把它作为k=3的K-means )。它最初执行k-方法并创建三个集群。我在结果缓冲区中看到了每个集群和属性的先验概率、正态分布方法和标准差。
在计算k-均值星团之后会发生什么？在这里，标准偏差和先验概率的作用是什么？为什么它是基于密度的？
浏览 0提问于2019-03-15得票数 1
我试图以概率的方式聚集一组点。使用下面的内容，我有一组xy点，记录在X和Y中。我想使用一个引用点聚成几个组，这个引用点显示在X2和Y2中。
在一个答案的帮助下，当前的方法是使用k-均值测量与参考点和组之间的距离。尽管它提供了一种使用参考点进行聚类的方法，但是k簇的硬截止和依附使得它在处理许多数据集时有点不合适。例如，本例所需的集群数可能为3，但单独的示例可能有所不同。每次我都要手动通过并修改k。
考虑到k-的非概率性质，另一种选择可能是GMM。是否有可能在建模时说明参考点？如果我将输出附加在底层模型下面，就不会像我所希望的那样进行聚类。
如果我看看每个点都在一个组内的概率，它就不会像我所希望的
浏览 5提问于2021-01-29得票数 2
回答已采纳
我已经写了一个pyspark函数，但当我运行多次时，它每次都给我同一组输入数据的不同输出。
-pyspark函数
def give_percentile(plat,metrics,perc):
df_perc = df_final.filter(df_final.platform.like('%' + plat + '%'))
df_perc = df_perc.filter(df_final[metrics]!=0)
percentile_val = df_perc.approxQuantile(metrics, [perc], 0.05)
if len(pe
浏览 0提问于2019-05-20得票数 0
2回答
我有一小组航空图像，其中图像中可见的不同地形已被人类专家标记。例如，一幅图像可能包含植被、河流、落基山脉、农田等。每幅图像可能有一个或多个这些标记的区域。使用这个小的标签数据集，我想为每种已知的地形类型拟合一个高斯混合模型。完成此操作后，对于在图像中可能遇到的每N种地形，我将拥有N个GMM。 现在，给定一个新图像，我想通过将像素分配给最可能的GMM来确定每个像素属于哪个地形。这是正确的思路吗？如果是，我该如何使用GMM对映像进行群集
浏览 37提问于2019-05-28得票数 1
回答已采纳
我正在尝试使用PySpark将一个分数应用于星火PySpark。让我们假设我在Spark之外构建了一个简单的回归模型，并希望将模型中创建的系数值映射到DataFrame中的各个列，以创建一个新列，即每个不同源列的和乘以各个系数。我知道Spark中有许多用于建模的实用程序，但我想了解如何实现这种“蛮力”方法。我还知道DataFrames/RDD是不可变的，因此必须创建一个新的DataFrame。
以下是一些供参考的伪代码：
#load example data
df = sqlContext.createDataFrame(data)
df.show(5)
dfmappd.select("
浏览 4提问于2016-03-01得票数 1
回答已采纳
我很难获得有效聚类数据的方法。即使对于具有5个类别的简单属性，它也不能很好地分割数据。我知道DBSCAN、分层聚类和GMM。但是，在开始为每种算法编写代码之前，我只想知道是否有任何方法(视觉或其他方式)来缩小可能在所讨论的数据集上工作的聚类算法。
提前谢谢。
浏览 0提问于2019-07-30得票数 1
回答已采纳
它似乎并不是派斯喀斯特Onv-vs-Rest分类器提供的概率。有办法这样做吗？
下面是我附加的代码。我正在添加标准的多类分类器以进行比较。
from pyspark.ml.classification import LogisticRegression, OneVsRest
from pyspark.ml.evaluation import MulticlassClassificationEvaluator
# load data file.
inputData = spark.read.format("libsvm") \
.load("/data/mlli
浏览 1提问于2018-12-14得票数 0
回答已采纳
我试图测试函数内部是否调用了一个对象方法。对象在函数itselfs中实例化。因此，我嘲弄了类，并尝试使用类来断言调用。
我调试了函数，并确定了它调用的方法，但是断言始终失败：
raise AssertionError(msg)
AssertionError: Expected 'populate' to have been called.
这是测试m运行
from pytest_mock import MockerFixture
def test_populate_model(mocker: MockerFixture):
mocker.patch(&#
浏览 4提问于2022-02-15得票数 -2
回答已采纳
3回答
背景：i有2组来自图像的彩色像素，一组对应于背景，另一组对应前景。接下来，我用OpenCV的EM对每个集合进行了2个高斯混合模型的训练。我的目标是寻找一个随机像素属于前景和背景的概率。因此，我对像素上的每个EM使用“预测”函数。
问题：
我不明白这个函数返回的值。在OpenCV文档中，它是这样写的：
该方法返回一个双元素双向量.零元素是样本的似然对数值。第一个元素是给定样本的最可能混合组分的指数。
我不明白“相似对数”是什么意思。在我的结果中，有时负值和值> 1。使用相同函数的人是否有这种结果或在0到1之间得到这种结果？从我的结果可以得出什么结论？
如何获得像素
浏览 0提问于2013-01-09得票数 5
回答已采纳
1回答
我的问题是:如何使用problem在类中的另一个函数中调用函数。我正在尝试使用文件devAM_hive.py中名为Anomalie的类中的一个方法来编写pyspark。
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
import re
class Anomalie():
def __init__(self):
self.Anomalie_udf = F.udf(Anomalie.aux,ArrayType(StringType()))
def aux
浏览 9提问于2022-04-09得票数 0
1回答
我想为GMM绘制一个肘形法来确定最优的簇数。我使用mean_，假设这表示离集群中心的距离，但我没有生成典型的肘形报告。有什么想法吗？
from sklearn.mixture import GaussianMixture
from scipy.spatial.distance import cdist
def elbow_report(X):
meandist = []
n_clusters = range(2,15)
for n_cluster in n_clusters:
gmm = GaussianMixture(n_components=n_c
浏览 2提问于2022-08-09得票数 0
回答已采纳
我有一个主脚本如下所示
from pyspark.sql.session import SparkSession
..............
..............
..............
import callmodule as cm <<<--- This is imported from another pyspark script which is in callmod.zip file
..............
..............
..............
--当我按照下面的方式提交spark命令时，它会出错:没有名为Callmodu
浏览 0提问于2020-12-22得票数 0
回答已采纳
2回答
在Python语言中有没有相当于Mclust的命令？我搜索了sklearn的文档。它有用于分类的GMM，而不是用于聚类的。
我已经安装了rpy2，但我不确定如何在R to Python中安装Mclust包。
浏览 0提问于2014-06-25得票数 2
1回答
重叠聚类的结果
、、、、
我使用Matlab中的函数fcm进行重叠聚类。该函数的输出是一个大小为kxn的矩阵，其中k是聚类的数量，n是示例的数量。
现在我的问题是，我如何为一个例子选择集群？对于每个示例，我都有所有集群的分数，所以我可以很容易地找到最匹配的集群，但其他集群呢？
非常感谢。
浏览 1提问于2017-03-01得票数 1
我试图使用spark-sklearn库在星火库集群上执行网格搜索。出于这个原因，我在我的nohup ./spark_python_shell.sh > output.log & shell上运行bash以点燃Spark集群，并且运行我的python脚本(参见下面的spark-submit \ --master yarn 'rforest_grid_search.py')：
SPARK_HOME=/u/users/******/spark-2.3.0 \
Q_CORE_LOC=/u/users/******/****** \
ENV=loca
浏览 2提问于2018-10-25得票数 2
回答已采纳
1回答
在实践中火花放电
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("PopularMovies_Repartition")
sc = SparkContext.getOrCreate(conf)
def f(x,y) :
return x[0]+y[0]
sumRating = ratingRdd.reduceByKey(f) # (movie id , (sum of rating,count of rati
浏览 3提问于2022-01-18得票数 0
2回答
我是新手，所以请告诉我比较cosine similarity和k-means的逻辑是否不正确
我从k-means那里得到了一组D3，现在我对Cluster No. 1感兴趣。对于这个集群，我使用average of all values for each column并将其放在一边。
现在，我有了一个测试样本，我运行k-means prediction并以1的形式获得输出，这意味着它属于对我有好处的Cluster No. 1，但是这里的用例是计算即使这个样本不属于Cluster 1，它离落入这个Cluster No. 1有多近？
因此，为了解决这个问题，我考虑在我的测试样本和我使用averag
浏览 0提问于2020-06-13得票数 2
我正在尝试通过预处理，生成tf-idf矩阵，然后应用K-means来完成文本文档聚类的经典工作。但是，在经典的20NewsGroup数据集上测试此工作流会导致大多数文档被聚为一个集群。(我最初尝试对20个组中的6个组的所有文档进行聚类-因此期望将其聚类为6个聚类)。
我在Apache Spark中实现了这一点，因为我的目的是在数百万个文档上使用这项技术。以下是在Databricks上用Pyspark编写的代码：
#declare path to folder containing 6 of 20 news group categories
path = "/mnt/%s/20news-
浏览 0提问于2017-05-09得票数 2
1回答
图像的高斯混合模型聚类
、、、、
I开发了这个python代码来对图像的高斯混合模型进行聚类。它能很好地实现图像分割，并在图像直方图上显示GMM。然而，在直方图上显示不同簇的不同分布是有问题的。谢谢你的帮助。
import os
import matplotlib.pyplot as plt
import numpy as np
import cv2
from scipy import stats
img = cv2.imread("test.tif")
# Convert MxNx3 image into Kx3 where K=MxN
img2 = img.reshape((-1,3)) #
浏览 6提问于2022-06-21得票数 0
1回答
我是Spark的新手。在将一个顶级外部函数传递到RDD_old.reduceByKey之后，当我试图从RDD_new收集结果时，出现了这个错误。
首先，我定义了一个treeStruct：
class treeStruct(object):
def __init__(self,node,edge):
self.node = nodeDictionary
self.edge = edgeDictionary
在那之后，我用sc.parallelize把两个treeStructs转换成了RDD：
RDD = sc.parallelize([treeStruct
浏览 0提问于2017-03-08得票数 0
1回答
我在Python中有一个聚类算法，我正试图将其转换为PySpark (用于并行处理)。
我有一个包含区域的数据集，并在这些区域中存储。我想对单个区域中的所有存储执行我的聚类算法。
在进入ML之前，我有几个for循环。如何修改代码以删除PySpark中的for循环？我在PySpark中读过for循环通常不是一个好的实践，但我需要能够在许多子数据集上执行模型。有什么建议吗？
作为参考，我目前正在循环(通过Pandas DataFrames)，如下所示：
for region in df_region:
for distinct stores in region:
[
浏览 3提问于2021-01-26得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
