我的数据框中有大量数据，现在我想尝试插入具有6位随机数的新列。我已经尝试过lit(randrange(99999))不能像预期的那样工作，它产生的值小于6位数，并且对整个数据帧产生了静态值。
浏览 11提问于2021-08-12得票数 0
回答已采纳
我正在尝试使用PySpark中的rand函数来生成一个随机数列。我希望rand函数把行的主键作为种子，这样数字就可以复制。但是，当我运行时：我知道错误了
如何使用行中的值作为
浏览 1提问于2019-03-26得票数 0
回答已采纳
我想通过替换子字符串在Spark Dataframe列上执行一些基本的词干提取。做这件事最快的方法是什么？
在我当前的用例中，我有一个想要规范化的地址列表。
浏览 0提问于2016-05-05得票数 54
回答已采纳
我有一个有7列的pyspark数据框，我必须添加一个名为" sum“的新列，并计算在sum列中包含数据(非null)的列的数量。Example a data frame in which yellow highlighted part is required answer
浏览 8提问于2020-01-19得票数 1
回答已采纳
1回答
在我的"data“数据框中，我有两列，”time_stamp“和”hour“。我想在缺少'time_stamp‘值的地方插入'hour’列值。我不想创建新列，而是在'time_stamp‘中填充缺少的值 我想要做的是将这个pandas代码替换为pyspark代码： data</em
浏览 8提问于2019-03-21得票数 0
回答已采纳
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。customerDf.withColumn("fullname",expr("concat(firstname,'|',lastname)"))有没有办法向现有的dataframe添加一个新的列我们只有一个选择(熊猫中的inplace=True)。我们<
浏览 4提问于2021-01-26得票数 0
1回答
我有一个PySpark数据帧(Df)，其中包含50+列，其中包含一些动态列，这些列可能存在也可能不存在，但它们存在于一个单独的列表(Reqd_col)中。我想对列表(Reqd_col)中存在的PySpark data frame(df)中的那些列进行汇总(按固定列‘region’分组)和汇总总和或计数，汇总列的
浏览 24提问于2021-09-08得票数 0
我有一个包含30条记录的RDD (键/值对:键是时间戳，值是JPEG字节数组)
我管理着30个执行者。当我使用rdd.repartition(30)时，它将我的rdd重新划分为30个分区，但一些分区获得2条记录，一些分区获得1条记录，而另一些则没有任何记录。有没有办法在Spark中我可以均匀地将我的记录分配到所有分区。
浏览 1提问于2015-11-18得票数 5
2回答
我试图在R中生成一行随机二进制1和0的列。其中$A$1 = 0.1。因此，如果任何随机数小于0.1，它将返回1。因此，结果将打印一个列，随机行为1和0。data$binary <- ifelse
浏览 3提问于2019-12-27得票数 1
回答已采纳
我想提取一列，并将其值作为新行附加到数据框中。例如，如果我有一个这样的数据框： ------------------------------------------------------------------------------------------------------------------------- 如何在PySpar
浏览 18提问于2019-12-29得票数 0
回答已采纳
的文档表明，spark可以记录在读取.csv文件时检测到的错误行。
如何记录格式错误的行？是否可以获得包含格式错误的行的val或var？链接文档中的选项是: maxMalformedLogPerPartition (默认值为10)：设置Spark将为每个分区记录的最大格式错误行数。超过此数目的错误记录将被忽略
浏览 1提问于2017-01-27得票数 6
1回答
如何在数组中循环哈希
、、、
“三次，每个答案都作为一个新的散列存储在数据数组中。每个答案也应该有一个新的随机数生成，并有一封电子邮件。data = Array.new()
name = gets.chomp
number
浏览 0提问于2016-08-03得票数 0
回答已采纳
我试图在UDF中使用Pyspark子串函数，但没有成功。下面是我的代码片段： try: except Exception: else:
return (my
浏览 2提问于2020-02-06得票数 0
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。如果只想根据条件替换列<em
浏览 12提问于2015-03-17得票数 95
回答已采纳
10回答
我有一个火花DataFrame (使用PySpark 1.5.1)，并希望添加一个新的列。pd.DataFrame(randomed_hours, columns=['new_col'])
还得到了一个错误，使用如下：
<em
浏览 13提问于2015-11-12得票数 179
回答已采纳
6回答
在pandas数据框中，我使用以下代码来绘制列的直方图：有没有什么东西可以在pyspark数据帧中实现同样的目标？(我在Jupyter Notebook中)谢谢！
浏览 5提问于2016-08-26得票数 35
我想在spark中创建一个包含浮点随机数的新列，但我想始终生成相同的输出，即我想使用一个固定的种子值作为102101。
浏览 12提问于2020-08-18得票数 0
1回答
此函数：lg = F.log(5.2)返回：
Py4JError: An error occurred while
浏览 8提问于2017-03-07得票数 0
回答已采纳
1回答
火花放电柱上循环的优化
、、、、
我不知道我的头衔是不是很清楚。我有一张列很多的桌子(一百多列)。我的一些列包含带括号的值，我需要将它们分解成几行。下面是一个可重复的例子：from pyspark.sql.functions import *from|[Basic School] |
+----+---+-----------
浏览 5提问于2022-06-15得票数 1
回答已采纳
我是一名社会研究老师，目前正在为我的一堂课修改一个微观经济学游戏。我正在创建一个扩展表，供学生使用(笔记本电脑)，跟踪各种资源，他们将收集和管理整个游戏。在游戏的某个阶段，学生收集虚拟国家所拥有的资源，但是他们必须将收集的资源乘以一个随机数，以反映来自“现实世界”的各种变量，这些变量可能对特定的资源收集产生积极或负面的影响。我已经知道了如何在Excel中格式化一个单元格来随机生成数字，但是我使用的是多个单元格，每个单元格都有自己<em
浏览 5提问于2014-02-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
