2回答
SVD在火花放电中的应用
、、、、
现在，我想从这个dataframe构建IndexRowMatrix，这样我就可以运行svd函数了，这里描述了mat = RowMatrix(tfidfData.rdd.map(lambda x: x.features))
我使用RowMatrix，因为要构建它，我不需要提供元组，但我甚至不能
浏览 8提问于2017-09-20得票数 2
回答已采纳
我在互联网上找遍了，却找不到如何简单地将spark中的数据帧转换成矩阵，这样我就可以对其进行矩阵运算。
我如何在Spark 2中简单地实现这一点？
浏览 0提问于2017-02-18得票数 2
2回答
我试图在存储为火花RowMatrix (使用Python )的矩阵上运行一些基本的线性代数操作(特别是转置、点积和逆)。按照docs中的示例(就我的情况而言，我将在矩阵中有更多的行，因此需要火花)，假设我有如下所示：rows = sc.parallelize([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11,
浏览 0提问于2015-09-21得票数 7
回答已采纳
我正在尝试读取CSV文件，并使用PySpark将其转换为RowMatrix。我将此文件作为RDD读取的代码如下：我从Spark示例中了解到，在创建RowMatrix之前，我需要创建密集向量。我的问题是:如何从上面的代码开始将数据转换
浏览 0提问于2017-09-15得票数 0
1回答
我有一个形式的RDD (id1，id2，score)。我想使用RowMatrix.columnSimilarity，但我需要先将它转换为RowMatrix。如果我的数据较小，我可以将其转换为Pyspark dataframe，然后使用pivot，如但这与10,000简单的rdd_Mat =la.<
浏览 14提问于2017-08-11得票数 1
回答已采纳
关于的教程，import org.apache.spark.mllib.linalg.distributed.RowMatrixval rows: RDD[Vector] = ... // an RDD of local vectorsvalmat: RowMatrix =
浏览 3提问于2015-10-05得票数 5
回答已采纳
1回答
我被困在一个问题中，我想要做一个PCA在一个Pyspark列。列的名称是“特性”，其中每一行都是一个SparseVector。这就是流程：特征-列的名称
行(features=SparseVector(2，{0:654.0，1:20.0}))i = <em
浏览 4提问于2019-11-19得票数 2
我希望将此数据转换为行矩阵，其中的列和行将采用以下mat格式： from pyspark.mllib.linalg.distributed import RowMatrixmat = RowMatrix(rows)
exact = mat.co
浏览 8提问于2019-05-10得票数 0
回答已采纳
1回答
我有一个很大的pyspark数据框架，其中列是一些产品，行是其随时间变化的价格。我需要计算所有产品的协方差矩阵，但数据太大，无法转换为pandas数据帧，因此我需要使用pyspark进行计算。
浏览 68提问于2021-06-15得票数 0
我看到，如果我使用一个columnSimilarities对象，我可以使用pyspark.mllib模块的RowMatrix方法。由于我想出的用DataFrame解决这个问题的每一种方法都很低效，所以我想知道从我的DataFrame中获得RowMatrix的最佳方法。
浏览 0提问于2018-10-25得票数 1
回答已采纳
设Q是星火中的分布式行矩阵，我要计算Q与其转置Q'.的交叉积val phi = new RowMatrix(phiRDD) // phiRDD is an instance of RDD[Vector]val phi = new IndexedRowMatrix(phiRDD) // ph
浏览 2提问于2017-09-04得票数 1
回答已采纳
我想在pyspark中找到它的特征向量。我知道computeSVD给了我特征向量，但这些是通过奇异值分解得到的，结果是一个密集的矩阵，这是一个本地数据结构。如果是，有什么方法可以在pyspark中使用它吗？或者，对于同样的问题，是否有其他解决方案。我可以以某种方式直接在我的代码中使用ARPACK吗?或者我必须自己编写Arnoldi迭代(例如)？
浏览 0提问于2017-09-21得票数 2
1回答
我使用spark任务来计算文本文档之间的相似度：CoordinateMatrixrowsimilarity=rowMatrix.columnSimilarities(0.5);
JavaRDD<MatrixEntry> entries = rowsimilarity.entries
浏览 6提问于2017-07-27得票数 4
正如标题所述，我有一个向量序列(在DataFrame列中，但可以使用.collect()将其转换为RDD或序列)。我想把这些矢量收集到一个本地SparseMatrix中。我可以轻松地制作一个RowMatrix，但我也看不到将RowMatrix转换为本地矩阵的任何方法。val exampleMatrix = new RowMatrix(df_with_vectors.select("sparse").rdd.map(_.getAs[S
浏览 0提问于2018-09-10得票数 0
回答已采纳
1回答
你好，我想知道如何在RowMatrix中转接PySpark。MLLibVectors.dense([3.0, 4.0]), )]
features=df.select("features").rdd.map(lambda row: row[0])
print mat.rows.first()
mat=mat.T
浏览 6提问于2017-11-03得票数 4
回答已采纳
scala新手(pyspark guy)，尝试计算行(项)之间的余弦相似度| 2|(7,[1,3,6],[1.0,6...|我试图按照这篇文章将df转换为IndexedRowMatrix，但在如何正确映射rdd的scala语法方面遇到了问题。import
浏览 1提问于2019-08-17得票数 0
1回答
火星雨流中的to.JSON()
、、、、
采用toJSON()方法将DataFrame转换为文档的RDD，并在火花流的transform()函数中实现了这一转换。我使用pyspark进行编码，如下所示： rddDataframe = sqlContext.createDataFrame(rdd)return rdd
dstream_test = dstream_in.transfor
浏览 2提问于2016-06-30得票数 0
这是我的数据我的向量RDDrows_2 = sc.parallelize([[1, 2], [4, 5]])mat1 = RowMatrix(rows_1)我想做这样的事情：我写了一个函
浏览 0提问于2016-06-12得票数 6
= sc.parallelize(xxr)val xxrm: RowMatrix= new RowMatrix(xxd)
然而，这确实是一种粗野和彻底的黑客行为。
浏览 8提问于2015-05-11得票数 5
回答已采纳
我首先使用mllib的transform将文档转换为向量，然后将其转换为RowMatrix并使用columnSimilarities()方法。import org.apache.spark.rdd.RDDimport org.apache.spark.mllib.feature.HashingTFto compute cosin
浏览 3提问于2016-03-28得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
