然后，我尝试使用以下代码用SparseVectors填充空条目：此代码导致以下错误：然后，我在sparkValu
浏览 6提问于2017-01-08得票数 3
回答已采纳
我正在尝试理解DataFrame列类型。当然，DataFrame不是一个物化的对象，它只是一组Spark的指令，将来要转换成代码。但我认为，这个类型列表代表了在执行操作时JVM中可能出现的对象类型。(4, dict(enumerate(data)))df.printSchema()> for x in df.first().asDict().items():
prin
浏览 1提问于2016-07-31得票数 7
回答已采纳
12回答
Spark区分具有重复名称的列
、、、、
因此，正如我在中所知道的，对于多个列，可以具有如下Dataframe快照所示的相同名称：Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0})),
Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.
浏览 19提问于2015-11-18得票数 135
回答已采纳
3回答
我有一个有两个列的dataframe，其中每一行都有一个稀疏向量。我试图找到一种适当的方法来计算每一行中两个向量的余弦相似性(或仅仅是点积)。
但是，我还没有找到任何库或教程来实现稀疏向量。
浏览 1提问于2018-12-15得票数 2
乘积，SparseVectors已经具备了这种能力，所以我尝试以一种简单和可伸缩的方式执行它，而不需要转换到RDDs或DenseVectors，但是我被困在过去的3天里去尝试一种方法，但是失败了，没有从dataframe返回传递的两个向量列的计算，并寻求关于这个问题的指导，因为我在这里遗漏了一些东西，并且不确定根本原因是什么…… df = spark.createDataFrame(
浏览 13提问于2022-03-15得票数 0
我使用下面的代码来规范PySpark DataFramefrom pyspark.ml(PythonRDD.scala:504) at org.apache.spark.api.python.P
浏览 5提问于2016-12-21得票数 3
回答已采纳
我有一个有时为null值的dataframe，我希望用一个值范围内的单个值(例如从0到100的随机整数)替换它，而不是总是使用相同的值。
函数似乎不允许这样做，而且我也找不到一种很好的手动方法。我在Python &Spark2.2工作
浏览 3提问于2017-12-13得票数 2
回答已采纳
3回答
我想要使libsvm格式，所以我使dataframe为所需的格式，但我不知道如何转换为libsvm格式。格式如图所示。我希望所需的libsvm类型是用户项:评级。._2).toArray)}
我正在使用Spark2.0。
浏览 4提问于2017-01-01得票数 18
回答已采纳
1回答
假设，在我的dataframe中，我有一个列my_category，其中有不同的值，我可以使用以下方法查看值计数：注意:我知道如何在Python中这样做，例如，首先为每个唯一值构建一个基于频繁的字典，然后通过逐个检查值来创建OHE向量，将不常见的值放在“默认”列中。
浏览 0提问于2020-02-15得票数 0
注意:这是为Spark 2.1.1.2.6.1.0-129 版本编写的以下是我编写的一些代码： " regexp_replace(states, '^-?[0-9]+$', '') AS states ",
"someOtherCo
浏览 1提问于2021-10-24得票数 1
回答已采纳
1回答
假设我有一个SparseVector，我想对它的值求和，例如v.values.sum现在我想通过udf来做同样的事情，因为我有一个包含SparseVector列的DataFrame。_active_spark_context
-> 1918 return Column(judf.apply(_to_seq(sc, cols, _to_java_column)))
浏览 0提问于2017-11-03得票数 1
1回答
/python/lib/pyspark.zip/pyspark/ml/pipeline.py", line 69, in fit File "/usr/l
浏览 6提问于2016-08-27得票数 5
回答已采纳
使用Apache，我通过JDBC连接器提取这些数据，并将其存储在DataFrame中。从这里开始，我对数据做了一些预处理(例如，替换空值)，所以我绝对需要遍历每条记录。我已经在Spark的Java中实现了这一点，但是它太慢了(就我的目的而言)，因为我将大量数据从DataFrame复制到java.util.Vector和java.util.List (以便能够迭代所有记录并进行预处理)，然后返回到DataFrame (因为Spark中的PCA需要一个DataFrame作为
浏览 2提问于2016-06-02得票数 0
回答已采纳
/python/lib/pyspark.zip/pyspark/ml/pipeline.py", line 69, in fit File "/usr/l
浏览 0提问于2016-08-25得票数 2
2回答
/python/pyspark/sql/dataframe.py", line 269, in count at org.apache.spark.api.python.PythonRunner$$anon$1.$$anonfun$org$apache$spark$sql$DataFrame$$execute$1$1.apply(DataFrame.scala:
浏览 0提问于2018-06-21得票数 2
1回答
当我试图用空值填充一个DataFrame来替换其中的其他值时，我得到了错误的Caused by: scala.MatchError: Null (of class scala.reflect.internal.Types我如何使用Scala Spark 2.1来做这件事？
浏览 28提问于2017-03-17得票数 0
回答已采纳
1回答
注意:这是用于Spark 2.1.1.2.6.1.0-129以下是我收到的错误： File "/usr/hdp/current/spark2-client/<em
浏览 4提问于2021-10-24得票数 0
回答已采纳
2回答
我在java中有一个类，它构建了一些复杂的星火DataFrame。package companyX;
public DataFrame build() { }我将这个类添加到pyspark/木星类路径中，这样它就可以被py4j调用。现在，当我称之为它时，我得到了奇怪的类型：VS
print(type(sc.parallelize([
浏览 0提问于2018-03-14得票数 1
回答已采纳
我有下面的数据集，它包含一些空值，需要在spark中使用fillna替换空值。DataFrame：| 50| null| Tom|
| 50| null| null</e
浏览 1提问于2016-11-03得票数 20
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
