1回答
show()结果为 州|sum(工资)+-+-+| NJ| 91000| | NV| 166000| | CA| 171000| DE| 99000| | NY| 252000 如果我想将"state“列名改为
浏览 65提问于2021-10-04得票数 0
1回答
从星火DataFrame的列名？下面的代码是可复制的。# import Spark libraries, configuration, Contexts, and types.from pyspark.sql importSparkSession#############
# Star
浏览 12提问于2017-11-15得票数 3
回答已采纳
如果列名中包含address，则每次都必须重命名列名。例如，对于第一个文件，我接收的列为ADDRESS1、ADDRESS2、ADDRESS3
对于下一个文件，我将接收列名为T_ADDRESS1、T_ADDRESS2、TADDRESS3
由于我只编写这段代码一次，并将它传递到我的管道中，所以如果每次在其中包含ADDRESS时，如何使用PySpark更改列名？在截图中我们可以看到，每次如果名称中包含addre
浏览 11提问于2022-10-03得票数 0
回答已采纳
我正在尝试使用pyspark读取csv文件，大多数列名都有特殊字符。我想要使用pyspark dataframe.Is删除所有列名中的特殊字符，有什么特定的函数可以同时删除所有列名的特殊字符吗？
浏览 1提问于2020-08-05得票数 2
回答已采纳
1回答
我有一个列名列表，每次列名都不同。列名存储在列表中。因此，我需要传递列表中的列名(在下面的示例中，列名是其id和programid id)，以便在源数据帧和目标数据帧之间进行比较。在下面的示例中，我想检查src_id == id和src_programid == programid是否。from pyspark import SparkContext, SparkConf, SQLContext
f
浏览 14提问于2019-04-13得票数 0
1回答
我试图在PySpark中查询包含错误命名的列的DF。我不能在PySpark之外更改这个名称，因为它被隐藏在JSON的1TB内。下面是我用来更改名称的代码：列名是npa_case_idID，PySpark抱怨空间太大。/pys
浏览 0提问于2021-10-28得票数 0
我希望使用Spark DataFrame的PySpark在特定的单元格中更改一个值。，即将detroit更改为new_orleans。我知道df.iloc[4, 3] = 'new_orleans'或df.loc[4, 'detroit'] = 'new_orleans'的作业在Spark中是无效的。variable_1"] == 8) & (df["variable_2"
浏览 4提问于2018-05-17得票数 7
回答已采纳
1回答
简单的问题:假设我们那么如何从pyspark.sql.column.Column对象F.col('a')中恢复列名字符串'a‘。例如，如果我们把str(F.col('a'))，我们有而不是原始列名'a‘。
浏览 2提问于2020-05-10得票数 0
回答已采纳
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据xml)中获取模式/列名称，并作为dataframe返回。 请指教
浏览 15提问于2019-03-06得票数 0
回答已采纳
23回答
我来自熊猫背景，习惯于将CSV文件中的数据读入dataframe，然后使用简单的命令将列名更改为有用的内容：但是，在使用PySpark创建的sqlContext数据文件中，同样的方法不起作用。).options(header='false', delimiter='\t').load("data.txt", schema=oldSchema)
这基本上是定义变
浏览 12提问于2015-12-03得票数 304
回答已采纳
我想使用Spark来显示拼花文件的内容，但是由于parquet文件中的列名包含空格，所以我得到了错误--属性名"First“包含”，;{}()\n\t=“中的无效字符。请使用别名重命名它。
浏览 0提问于2018-09-16得票数 5
1回答
传递列表中的列名
、、、
我有一个列名列表，每次列名都不同。列名存储在列表中。因此，我需要将列表中的列名(在下面的示例中是它的id和programid id)传递给when子句，并检查这两列是否都包含空值。Pyspark代码： ColumnList = ['id','programid']
'action',
when(joinSrcT
浏览 10提问于2019-04-12得票数 2
2回答
我有一些混合的列名，比如sum(TXN_VOL)，我想把它们转换成大写字母，比如SUM(TXN_VOL)我尝试的是: Dataset<Row我已经在许多网站上查看过，但我无法看到如何在Java中做到这一点
浏览 1提问于2019-01-02得票数 0
回答已采纳
在“火花:最终指南”中，它说：
df.col("count")
但是，当我在包含列count的dataframe上运行后的代码时，就会得到错误'DataFrame' object has no
浏览 2提问于2018-08-12得票数 9
2回答
我是PySpark新手，我想要更改我的列名，因为它们中的大多数都有一个烦人的前缀。我的专栏名称如下：e1014_var2Data_date_stamp
如果存在，我想从列名中删除EXXX_，如何做到这一点？
浏览 2提问于2021-08-31得票数 1
回答已采纳
1回答
我的最终目标是，如果两个比较列名出现在从df1提取的值列表中，则在df2中使用这两个比较列名。 我有一个名称列表和一个函数，用于检查这些名称在df1中是否作为列名存在。然而，这在python中起作用，在pySpark中不起作用。我得到的错误是：AttributeError: 'DataFrame' object has no attribute 'values'
浏览 28提问于2020-04-30得票数 1
回答已采纳
使用scala已经有类似的解决方案，但我需要一个用pyspark的解决方案。我是python的新手，需要大家的帮助。下面是我的DataFrame模式。|-- mnopqrstuv: string (nullable = true)
| | |-- mandevyixyz: string (nullable = tru
浏览 37提问于2020-06-08得票数 1
回答已采纳
6回答
如何在PySpark中从RDD中删除行？特别是第一行，因为这往往在我的数据集中包含列名。通过仔细阅读API，我似乎找不到一种简单的方法来做到这一点。当然，我可以通过Bash / HDFS来完成这个任务，但我只想知道这是否可以在PySpark内部完成。
浏览 5提问于2014-07-13得票数 28
回答已采纳
我移植了一个Scala代码，它可以简单地聚合到Python中：from utils import notHeader, parse, pprintsrc = "linkage" MatchData(i
浏览 5提问于2017-01-25得票数 0
1回答
我在dataset中有一些列名，在字符串中有三个下划线___。使用PySpark，我希望删除下划线之前的所有字符，包括下划线，并将其余字符保留为列名。我需要代码来动态重命名列名，而不是在代码中写入列名。如果___位于列名的开头或结尾，那么它应该只删除___并保留原来的字符。示例：sequence_number user___first_name
us
浏览 2提问于2022-07-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
