我正在尝试理解DataFrame列类型。当然，DataFrame不是一个物化的对象，它只是一组Spark的指令，将来要转换成代码。但我认为，这个类型列表代表了在执行操作时JVM中可能出现的对象类型。(data)d['old_SparseVector()
四个向量值<em
浏览 1提问于2016-07-30得票数 7
回答已采纳
我对使用PySpark非常陌生。我的PySpark数据框中有一列SparseVectors。-----------------------------------------------------------------------------------+rescaledData.withColumn('
浏览 2提问于2017-12-06得票数 3
回答已采纳
我一直在使用LabeledPoint解决分类问题，并创建了一个RDD和map，但当我尝试添加pyspark时，我得到了错误信息 %pyspark
features = df.map(lambda row
浏览 0提问于2016-11-07得票数 0
1回答
我被困在一个问题中，我想要做一个PCA在一个Pyspark列。列的名称是“特性”，其中每一行都是一个SparseVector。这就是流程：特征-列的名称
行(features=SparseVector(2，{0:654.0，1:20.0}))
f
浏览 4提问于2019-11-19得票数 2
2回答
SVD在火花放电中的应用
、、、、
我已经应用了吡火花tf-以色列国防军的功能，并得到以下结果。0.9162907318741551,0.9162907318741551,1.2039728043259361,1.2039728043259361,1.2039728043259361,1.2039728043259361,1.6094379124341003]) |mat = RowMatrix(tfidfData.rdd.map(lambda x: x.fea
浏览 8提问于2017-09-19得票数 2
回答已采纳
我希望在我的数据帧tfIdfFr中插入一个名为"ref"的列，其中包含一个类型为pyspark.ml.linalg.SparseVector的常量。当我尝试这个的时候 ref = tfidfTest.select("features").collect()[0].features # the reference
tfIdfFr.withColumnfrom pyspark.sql.functions import
浏览 9提问于2019-01-15得票数 1
回答已采纳
我见过类似的帖子，但没有完整的答案，因此在这里张贴。
idf = IDF(inputCol="rawFeatures", outputCol=&quo
浏览 3提问于2018-10-10得票数 3
回答已采纳
但今天，我把不想要的数据添加到特性中，如下图所示。pcaFeatures.show(truncate=False)
为什么我在特性列中的每一行前面都有
浏览 1提问于2020-01-08得票数 1
回答已采纳
1回答
我在“火花放电”中找到了像这样的稀疏矢量我怎样才能把它转换成熊猫的数据，有两个像这样的栏1 53 55 2
我尝试了sparsevector.zipWithIndex()，但是它没有工作
浏览 0提问于2018-04-09得票数 0
回答已采纳
我还有更多的问题要问-- ，我正在尝试从一个dataframe构建labledPoints，在这里，我有列中的特性和标签。这些特性都是布尔型的，只有1/0。assembler.setOutputCol('features')
from pyspark.mllib.regressionimport LabeledPoint
浏览 1提问于2016-06-01得票数 1
回答已采纳
1回答
基于PySpark的主成分分析
、、、、
我正在使用PySpark作为工具进行主成分分析，但由于从csv文件读取的数据的兼容性，我遇到了错误。我该怎么办？你能帮帮我吗？from __future__ import print_functionfrom pyspark.ml.linalg importVectors, VectorUDT
from pyspark im
浏览 3提问于2017-02-24得票数 1
回答已采纳
VectorAssembler的功能有些令人讨厌的地方。我目前正在将一组列转换为一列向量，然后使用StandardScaler函数将缩放应用于所包含的特性。然而，由于内存原因，火花似乎决定了它应该使用DenseVector还是SparseVector来表示每一行特性。但是，当您需要使用StandardScaler时，SparseVector的输入无效，只允许使用DenseVectors。有人知道解决这个问题的办法吗？
浏览 6提问于2016-03-07得票数 9
回答已采纳
我正在尝试使用pyspark CountVectorizer和LDA函数来实现潜在的Dirichlet分配。首先，问题是:这是我正在使用的代码。让df是一个火花数据格式，在列“标记化”中使用标记化的文本cv = CountVectorizer(inputCol = 'tokenized', outputCol这里是火花文档中另一个稀疏向量的，它将进入LDA
>>> from pys
浏览 0提问于2018-05-18得票数 2
回答已采纳
我使用Pyspark的HashingTF和IDF计算了3个示例文本文档的TFIDF，得到了以下SparseVector结果：(10485760.287682072452,0.287682072452,0.287682072452])如何计算文档中所有术语的TFIDF例如(0.287682072452 + 0.28768
浏览 3提问于2016-02-26得票数 1
回答已采纳
1回答
我正在建立一个预测模型来预测一个客户根据某个因变量进行购买的倾向。我正在使用决策树。我需要在0到1之间购买的倾向。我如何获得这些值，因为我的目标是二进制1或0(不管是否会)。
浏览 2提问于2015-03-17得票数 1
回答已采纳
1回答
我有一列短句的星星之火数据，还有一个带有范畴变量的列。我想在句子上执行tf-idf，在分类变量上执行one-hot-encoding，然后一旦它变得更小，就输出到驱动程序上的稀疏矩阵(对于一个scikit-learn模型)。以稀疏的形式从火花中获取数据的最佳方法是什么？在稀疏向量上似乎只有一个toArray()方法，它输出numpy数组。然而，文档中确实有这样的说法: say稀疏数组。还请记住，tf_idf值实际上是稀疏数组的
浏览 16提问于2016-11-11得票数 12
回答已采纳
我确实试着在给定数据的两列之间计算.dot乘积，SparseVectors已经具备了这种能力，所以我尝试以一种简单和可伸缩的方式执行它，而不需要转换到RDDs或DenseVectors，但是我被困在过去的3天里去尝试一种方法，但是失败了，没有从dataframe返回传递的两个向量列的计算，并寻求关于这个问题的指导，因为我在这里遗漏了一些东西，并且不确定根本原因是什么……
对于单独的向量和rdd向量，但是在传递dataframe
浏览 13提问于2022-03-15得票数 0
1回答
在pyspark中，如果我生成一个表示全零向量的稀疏向量，然后将它按预期工作：'(4,[],[])'>>> SparseVector.parse(res) File "<stdin>",/spark-1.5.2-b
浏览 3提问于2016-04-19得票数 2
回答已采纳
2回答
/pyspark/mllib/tree.py", line 352, in trainClassifier at breeze.linalg.SparseVector$mcD$sp.apply(<
浏览 4提问于2015-09-14得票数 0
回答已采纳
我应该使用python中的哪个.map()函数从spark数据帧创建一组labeledPoints？如果标签/结果不是第一列，但我可以引用它的列名'status‘，那么表示法是什么？
浏览 3提问于2015-09-14得票数 14
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
