我正在对我的数据进行主成分分析，我从上阅读了指南import org.apache.spark.mllib.feature.PCAimport org.apache.spark.rdd.RDD
val data: RDD= new PCA(5).fit(d
浏览 19提问于2021-03-12得票数 0
回答已采纳
1回答
我正在Spark中尝试主成分分析( PCA )。PCA时，学习如下所示，并给出不同的结果。为了验证结果，我从数学上计算了相同数据的PCA。我从科学学习中得到了同样的结果。下面是第一个数据点(1.0，1.0)的pca转换计算：
正如你所看到的，它与scikit的学习结果相匹配。spark似乎没有从数据向量X中减去平均向量MX，即它使用Y = A*(X)代替Y = A*(X-MX
浏览 2提问于2017-12-12得票数 6
1回答
我正在寻找一种方法来运行spark.ml.feature.PCA函数，该函数是在数据访问上的groupBy()调用返回的分组数据上运行的。但我不确定这是否可能，也不知道如何实现。df = spark.createDataFrame([[3, 1, 1], [4, 2, 1], [5, 2, 1], [3, 3, 2], [6, 2, 2], [4, 4, 2]], [= PCA(k=1, inputCol="features", o
浏览 6提问于2017-07-21得票数 10
2回答
我正在用PySpark处理csv文件的PCA。我得到了一些奇怪的行为；我的代码有时运行良好，但有时返回此错误：
File "C:/spark/spark-2.1.0-bin-hadoop2.7/bin/pca_final2.py", line 25localhost, executor driver): java.net.SocketException: Connection reset b
浏览 1提问于2017-03-14得票数 4
回答已采纳
我正在尝试使用SciKit-Learn在我的数据集上执行PCA。我目前有2,208行和53,741列(特性)。因此，我想使用PCA来降低这个数据集的维数。pca = PCA(n_components=0.95)据我所知，这应该会减少列数，这样它们总共可以解释我数据集中95%的方差。现在，我想看看X_reduced中还剩下多少个要素(列
X_reduc
浏览 7提问于2017-07-06得票数 2
回答已采纳
1回答
火花PCA顶部元件
、、、
在用于的spark文档中，有一个关于PCA的部分，描述了如何在spark中使用PCA。computePrincipalComponents方法需要一个参数来确定我们想要的顶级组件的数量。在其他一些工具中，PCA给出了一个表格，显示如果我们选择这3个组件，我们将覆盖95 %的数据。那么，星火在它的库中有这个功能吗?或者如果它没有，我如何在星火中实现它？
浏览 8提问于2015-11-06得票数 0
回答已采纳
2回答
我试图将PCA应用于包含头和字段的数据集，这里是我使用的代码，任何帮助都可以选择我们应用PCA的特定列。val projected: RowMatrix = mat.multiply(pc)val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
浏览 3提问于2017-06-01得票数 0
回答已采纳
1回答
基于PCA的星火异常检测
、、、、
我读了下面的文章
·PCA算法基本上将现有坐标系中的数据读数转换为新的坐标系。有人能更详细地描述使用PCA (利用PCA分数和Mahalanobis距离)检测异常的情况吗？我很困惑，因为PCA的
浏览 0提问于2018-03-28得票数 2
回答已采纳
我得到了一个pca模型> library(dplyr)> iris_tbl<- tbl(sc, "iris") %>%+ ml_pca()Explained variance:0
浏览 6提问于2016-12-11得票数 2
回答已采纳
我正在尝试用TensorFlow在结构化数据上实现一个多标签分类器。我使用具有两个完全连接的层的神经网络，但我还集成了嵌入，如此中所述，因此我可以在TensorBoard投影仪中看到PCA图。我注意到，当我更改模型时，PCA图保持不变。那么，TensorBoard投影是如何连接到模型的呢？我如何使用这个PCA的结果来进行预测，例如找到与新样本最近的邻居？
浏览 5提问于2018-02-11得票数 0
回答已采纳
我已经使用spark实现了Kmeans。但由于我的数据量很大，而且功能非常多，所以我想使用Apache spark MLlib实现迷你批处理kmeans。有没有关于如何实现它的例子或文档？
浏览 8提问于2017-05-02得票数 0
1回答
Spark MLlib是否支持Python的主成分分析？如果是这样，请给我举个例子。如果没有，如何将Spark与scikit-learn结合起来？
浏览 2提问于2015-08-03得票数 10
回答已采纳
我有一个有很多列/特征的数据集，我想建立ML模型，将数据分类为1和0，但我想减少列数。我读了很多关于feature selection的书，但有些东西我不太清楚。当我减少列/特征的数量时，我如何确保最少的信息丢失，或者我如何知道我是否丢失了大量信息？我可以删除的最佳特征数是多少，我如何知道我没有过度拟合模型？我用过PCA，我做了这样的东西：
from sk
浏览 2提问于2019-08-23得票数 0
我如何查看Spark dataframe中每种数据类型的计数，就像我使用pandas数据帧一样？float_col 5 non-null float64memory usage: 200.0+ bytes
我们可以非常清楚地看到每种数据类型的计数我如何使用spark数据帧做类似的事情？也就是说，如何查看有多少列是浮点型的，有多少列是整型的，
浏览 16提问于2018-08-03得票数 4
回答已采纳
1回答
我得到了一个很大的csv，每一行都是一组BERT令牌，由hugging face BertTokenizer (https://huggingface.co/transformers/main_classes此文件中的1行代码如下： 101, 108, 31278, 90939, 70325, 196, 199, 71436, 10107, 29190, 10107, 106, 16680, 68314,120, 120, 188, 119, 11170, 120, 162, 11211, 11703, 12022,
浏览 14提问于2020-04-07得票数 1
回答已采纳
我正在使用spark mllib训练朴素贝叶斯分类器模型，在那里我创建了一个管道来索引我的字符串特征，然后归一化并应用PCA进行降维，之后我训练我的朴素贝叶斯模型。当我运行管道时，我在PCA组件vector.On谷歌中得到负值。我发现我必须应用非负矩阵分解( NMF )来获得正向量，并且我发现ALS将使用方法.setnonnegative(true)实现NMF，但是我不知道如何在PCA之后将ALS集成到我的管道中。感谢您的帮助。谢谢。
浏览 2提问于2017-07-31得票数 0
我有一个火花数据，我想使用运行一个简单的PCA例子。= PCA(k=2, inputCol="features", outputCol="pca_features")我研究了使用RowMatrix ，但是我不理解这是否是一条路
浏览 1提问于2018-03-21得票数 0
回答已采纳
我尝试在Bluemix Spark服务中执行我的scala代码，一旦我可以运行它并从我的本地虚拟机获得正确的结果。当我在Bluemix Spark中运行它时，我在notebook中得不到任何响应。import org.apache.spark.mllib.linalg.val input = sc.textFile("swift://notebooks.spark/pca.csv")
浏览 2提问于2015-12-03得票数 0
1回答
基于余弦相似度的项目推荐
、、、、
作为我正在构建的推荐系统的一部分，我想实现一个基于余弦相似的项目推荐。理想情况下，我希望计算由2048年特性的DenseVector表示的100万项的余弦相似性，以便得到与给定项最相似的n个项目。我的问题是，我遇到的解决方案在我的数据集上表现很差。我试过：
下面是
浏览 1提问于2019-04-18得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
