1回答
我有一个包含一列type的df，我有两个列表 women = ['0980981', '0987098']df_ = df.withColumn('ne
浏览 9提问于2019-05-13得票数 3
回答已采纳
3回答
如果不使用SQL的REPLACE()函数，我们如何才能找到spark数据帧一列中的字数？下面是我正在使用的代码和输入，但replace()函数不起作用。from pyspark.sql import SparkSession .builder \ .enableHiveSupport() \
pa
浏览 3提问于2018-02-22得票数 10
1回答
我有一个有很多行的pyspark数据框。每行都是一个文本。只有一列。我想删除或移除少于3个字母的行。例如，在下面的4行中，我想删除第二列和第四列。
浏览 14提问于2021-01-20得票数 0
背景 我有以下pyspark数据帧 +-----+-----++-----+-----+|False|True |+-----+-----+ 我的目标 我想创建另一个基于key_1中的值的列和key_2列，如下所示。-----+|False|True | (2,) |+-----+-
浏览 23提问于2020-11-06得票数 0
我有一个数据框，我想添加列。我想从函数结果中随机地将值分配给新列的行。就像这样。woteva" + str(randint(0,100))
在结果中，我得到了我的第一个随机结果如何获得每行的新结果？
浏览 0提问于2021-09-24得票数 1
我在数据框中有一列，其中每一行都有一个用逗号分隔的日期列表。我想创建一个名为date_count的新列，其中包含每行的日期数。我试过使用pandas，但我想在pyspark中实现它，而且我也是spark的新手。
浏览 8提问于2019-10-13得票数 1
回答已采纳
1回答
从Spark输出数十亿行
、、、、
我正在尝试使用PySpark将大约5,000,000行的RDD输出为文本文件。这需要很长的时间，那么关于如何让.saveAsTextFile()更快有什么建议呢？
每行有3列，我将保存到HDFS。
浏览 0提问于2016-05-13得票数 0
我有pandas和pyspark数据帧，每天每行都有二元组的列表。我想打破列表，并将每个二元组合移动到一行，计数按降序排列。 如下所示是我拥有的数据帧。我已经按event_dt进行了排序。在“merged”列中，显示了二元语法的列表。例如，“漂亮的相遇”和“相遇后付费”是两个二元语法。双连词的列表每天都在继续... ? 现在，我想要将每个biagram移动到同一日期
浏览 40提问于2020-10-23得票数 0
回答已采纳
我有一个hive表，它是按插入时间列分区的。df.insertInto('tablename',overwrite=True) df.insertInto(
浏览 0提问于2017-09-16得票数 1
我有个txt文件。每行有4个用空格分隔的数字。(线例，1243814474 832 23.5380533333333 37.88067)。我想在sql server的4列表格中分别插入每行的每一行的每一个数字(第1列中的1243814474，第2列中的832等)。我给你的代码只插入该行第一个数字的</e
浏览 1提问于2016-06-14得票数 3
1回答
两个相同的值
、、
我有个很奇怪的问题。我读过一个csv文件，其中一些列同时具有空值和空值。我试图查找每行值相同的列，但最后得到如下结果：df.select(trim(lower(col("
浏览 2提问于2022-03-17得票数 0
1回答
我有两个几乎相同的Pyspark数据帧:相同的行数和row_id，相同的模式，但每行的某些列上的值不同。 我想确定每一行的列是什么。Michael Jordan mj@yahoo.com3 Angela Markle am@dw.com 预期的输出是一个字典列表
浏览 22提问于2020-03-23得票数 1
回答已采纳
当我阅读Spark/Hive文档时，将插入到带有列列表的表中，在Spark2.4和更早版本中不支持。
我有一个源表和一个目标表，它们有不同的列数和不同的列名，我需要复制它们。这是否意味着我必须在PySpark中编写此代码以完成此工作，因为Spark将无法完成此任务？output_table(fieldx, fieldy, fieldz) select cola, colb, colc from input_
浏览 1提问于2019-01-09得票数 4
回答已采纳
在我的共享点列表中，我有一个图像列，它将pic显示为每行的缩略图，当它悬停时显示一个稍大的图像，并在签入时在一个单独的选项卡中打开完整的图像。问题是，当我在内部共享此列表时，用户无法看到该列中插入的图像。共享用户拥有“仅查看”权限。
浏览 3提问于2022-04-06得票数 0
回答已采纳
我有一个Spark dataframe，其中包含一个列，其中包含部分行的重复单词： id source_value2 NULL4 John 我需要创建一个列，其中将排除每行中重复的单词： id result_value2NULL4 John 使用PySpark
浏览 17提问于2021-08-22得票数 0
回答已采纳
1回答
我有一个PySpark数据帧(Df)，其中包含50+列，其中包含一些动态列，这些列可能存在也可能不存在，但它们存在于一个单独的列表(Reqd_col)中。我想对列表(Reqd_col)中存在的PySpark data frame(df)中的那些列进行汇总(按固定列‘region’分组)和汇总总和或计数，汇总列的名称应与列
浏览 24提问于2021-09-08得票数 0
嗯，我使用的是PySpark，我有一个Spark dataframe，我使用它将数据插入到mysql表中。df.write.jdbc(url=url, table="myTable", mode="append")
我希望通过列值和特定数字的总和来更新列值(不
浏览 4提问于2015-09-16得票数 12
1回答
我想用json数据创建一个扁平的hive表，它来自另一个hive表(放在一个列-event_ data中)。下面是json数据结构。我已经使用后视图创建了hive表，但现在我想使用pyspark和一些UDF来创建hive表。,"category":"TST","entity":"colleague"},"platform":{"name":"v-generation","id":&q
浏览 0提问于2020-05-13得票数 0
row.index(min(row))], StringType())获取每行最小值的列名作为另一个名为'mycol‘的列的值。有什么改进性能的建议吗？我使用的是Pyspark 2.3
浏览 0提问于2020-09-10得票数 2
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。这是我的原始数据帧： pyspark> df.show()| id| lst_col|| 1|[a, b, c,d]|
+---+-------
浏览 29提问于2020-01-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
