1回答
如何通过逗号将字符串列拆分为具有应用模式的新数据帧？作为示例，下面是一个包含两列(id和value)的pyspark DataFrame df = sc.parallelize([(1, "200,201,hello"), (2, "23,24,hi")]).toDF(["id", "value"]) 我希望获取value列</e
浏览 18提问于2021-11-10得票数 1
1回答
我有一个SparkSQL数据帧和2Dnumpy矩阵。它们具有相同的行数。我打算将numpy矩阵中的每个不同数组作为新列添加到现有的PySpark数据帧中。这样，添加到每一行的列表是不同的。例如，PySpark数据帧如下所示 | Id | Name || 1
浏览 16提问于2019-10-05得票数 0
我在pyspark有数据帧。它的一些数字列包含'nan‘，所以当我读取数据并检查dataframe的模式时，这些列将具有'string’类型。如何将它们更改为int类型。我将'nan‘值替换为0，并再次检查了架构，但同时也显示了这些列的字符串类型。=True, inferSchema="true"
浏览 2提问于2017-10-26得票数 64
我正在尝试使用pySpark将简单的spark数据帧写入db2数据库。Dataframe只有一个数据类型为double的列。这是只有一行和一列的数据帧：
这是数据帧架构：
当我尝试使用以下语法将此数据帧写入db2表时：
dataframe.write.mode(&
浏览 0提问于2018-03-21得票数 1
1回答
我想知道如何在Spark (Pyspark)中实现以下内容+--+---++--+---++--+---++--+---++--+---++--+---++--+---+-------++--+---+-------++--+---+-------++--+---+
浏览 50提问于2015-12-16得票数 38
回答已采纳
1回答
Pyspark轮函数的问题
、、、、
在运行pyspark中的round函数时遇到了一些问题-我有下面的代码块，我试图将new_bid列舍入到两个小数位，然后将该列重命名为bid -我正在导入pyspark.sql.functions ASfunc以供参考，并使用其中包含的round函数： col("part&quo
浏览 1提问于2017-11-01得票数 20
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝试了很多东西，但所
浏览 16提问于2020-12-30得票数 2
1回答
在美国AWS地区的雪花数据库中有10 db的数据。要求将列中带有某些标志的数据子集拆分到AWS澳大利亚区域。1.将整个数据库从A复制到B。然后在中断复制之前暂停应用
浏览 3提问于2020-02-14得票数 1
我有两个相同行数的pyspark dataframe，但它们没有任何公共列。因此，我使用monotonically_increasing_id()将新列添加到这两个列中
from pyspark.sql.functions import monotonically_increasing_idcont_data = cont_data.join(df1,df1.match_id==cont_data.match_id, 'inner'
浏览 2提问于2017-06-03得票数 1
我正在尝试将我的pandas代码转换为pyspark dataframe，并尝试在dataframe的一列上应用函数。我在pandas dataframe中做了一些如下的事情。在操作了几个列值之后，将新列添加到pandas数据帧中，如下所示。return USD_amount
salesData['Sales (INR)'] = salesData.apply
浏览 15提问于2020-01-03得票数 1
回答已采纳
我们正在使用spark来处理大型数据，并且最近获得了新的用例，我们需要使用spark更新Hive表中的数据。下面是一个简单的例子:数据驻留在Hive表中，应用程序使用PySpark读取数据帧(比如PySpark)。例句:数据帧在列下面。例如：加5 Add 30 32000
应用</
浏览 1提问于2019-03-29得票数 2
2回答
我想从pyspark中现有的dataframe创建一个新的dataframe。数据帧"df“包含一个名为"data”的列，该列具有字典行，并具有字符串形式的模式。并且每个字典的键都不是fixed.For，例如，name和address是第一个行字典的键，但对于其他行来说情况并非如此，它们可能不同。如何转换为包含单个列的
浏览 2提问于2018-11-09得票数 1
1回答
我们在数据帧上使用PySpark函数，这会引发错误。错误很可能是由于数据帧中的错误行造成的。数据帧的架构如下：|-- geo_name: string (nullable = true)|--中的"geometry_polygon“列转换为几何类型
浏览 14提问于2022-10-18得票数 1
回答已采纳
我在SparkR中有一个小代码，我想把它转换成pyspark。我对这个windowPartitionBy并不熟悉，并且重新分区。你能帮我了解一下这段代码是做什么的吗？
浏览 34提问于2020-12-18得票数 0
回答已采纳
1回答
我已经用python写了一些带有sql上下文的代码，即pyspark，通过将csv转换为pyspark dataframe来对csv执行一些操作(df操作，如预处理、重命名列名、创建新列并将其附加到相同的我没有在数据帧上编写单元测试用例的想法。有谁能帮我在pyspark的dataframe上写单元测试用例吗？或者给我一些数据帧上的</em
浏览 1提问于2016-04-14得票数 3
我在一个数据帧中有两列。第一列被命名为previous_code，第二列被命名为New_code.These列，这些列具有"PO“、"GO”、"RO“等值。这些代码具有优先级例如"PO”比“GO”具有更高的优先级.I想要比较这两列的值，并在新列中放入输出为“高”、“低”和“无更改”，以防这
浏览 13提问于2019-12-26得票数 1
回答已采纳
我正在尝试按照groupby('Key').apply(UDF)方法将pandas_udf应用于我的PySpark数据帧以进行一些过滤。为了使用pandas_udf，我定义了一个输出schema，并在列Number上有一个条件。作为一个例子，这里的简化思想是我只希望返回具有奇数Number的行的ID。这就带来了一个问题，有时在一个组中没有奇怪的Number，因此
浏览 2提问于2020-05-18得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
