当连接键以列表形式给出时，如何修改spark dataframe中连接的列？
在Spark DataFrame中，可以使用withColumnRenamed方法来修改连接的列。该方法接受两个参数，第一个参数是要修改的列名，第二个参数是修改后的列名。
以下是修改连接列的示例代码：
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["name", "age"])
# 修改连接列
df = df.withColumnRenamed("name", "new_name")
# 显示修改后的DataFrame
df.show()输出结果为：
+---------+---+
|new_name |age|
+---------+---+
|Alice |25 |
|Bob |30 |
|Charlie |35 |
+---------+---+在上述示例中，我们使用withColumnRenamed方法将原始的"name"列修改为"new_name"列。
相关·内容
我一直在尝试使用以下作为列表传递的连接键列表来连接两个数据帧，并且如果其中一个键值为空，我想添加在键的子集上连接的功能 我一直在尝试加入两个数据帧df_1和df_2。，在account_id为null的情况下，连接仍然应该通过比较其他两个键来工作。account_id,F.lit(0))".split("|")
join_elem
浏览 5提问于2019-02-13得票数 1
2回答
我使用sc.broadcast来查找文件以提高性能。两者有什么区别？
我应该用哪一个来广播参考/查表？
浏览 3提问于2016-10-29得票数 4
回答已采纳
我正试图通过Spark/Scala连接到菲尼克斯，以DataFrame的形式读取和写入数据。但是，当我使用DataFrame 作为DataFrame尝试第一个示例Load时，我会得到以下异常。线程"main“java.lang.NoSuchMethodError: java.lang.NoSuchMethodError中的异常
1)导入语
浏览 1提问于2017-01-05得票数 0
*编辑 df_joint = df_raw.join(df_items,on='x',how='left') Apache Spark 2.4.5中出现标题异常 df_raw有2列"x“、"y”的数据，而df_items是模式的空数据框，还有其他一些列 左连接发生在null的值上，它应该从第一个dataframe中获取整个数据，并从第二个dataf
浏览 31提问于2020-12-20得票数 0
这只是我的代码现在看起来的样子，但是我确实想在将来添加更多的转换，df_tsv.write.jdbc，我想知道的第一件事是如何解决上述问题。其次，我想知道将数据从Spark写入数据库(如MySQL )时</e
浏览 2提问于2021-10-28得票数 1
回答已采纳
我有一个Seq of Spark (即Seq[org.apache.spark.sql.DataFrame])，它可以包含一个或多个元素。有一个列的列表对每个数据文件都是通用的，每个dataframe也有一些额外的列。我想要做的是使用连接条件中的那些公共列将所有这些数据文件连接在一起(记住，数据格式的<
浏览 0提问于2018-05-15得票数 4
回答已采纳
我正在尝试向我的Spark Dataframe添加一个新列。添加的新列的大小将基于变量(例如salt) post，我将使用该列分解数据集以用于盐连接。目前，我在array函数中使用连续的lit，但这有一个问题，它不能被参数化，而且作为一种编码实践看起来很糟糕。我目前的实现看起来像下面这样。Reference_with_Salt_Col = Reference.withColumn(
浏览 80提问于2021-03-14得票数 1
回答已采纳
1回答
将自定义SQL查询发送到Python上的SQL数据库是非常直接的。值得一提的是，我可以使用JDBC读取和写入Server数据库，但我希望发送一个自定义SQL语句，例如，希望在Server数据库中执行的"bulk insert“语句。下面是我如何使用JDBC从Server读取数据。table_name="dbo.myTable"
spark.read.jdbc(url=jdbcUrl, table=table_name, properties
浏览 3提问于2020-09-20得票数 0
如何在Spark Structured Streaming中读取Kafka和查询外部存储，如Cassandra？我从Kafka获得消息流，我想对它应用Map操作，对于每个键，我想查询像Cassandra这样的数据存储，并获得该键的更多信息，并在流上应用进一步的操作。我如何使用Spark Structured Streaming 2.2.0来做到这一点？
浏览 2提问于2017-09-07得票数 1
我不知道我应该共享代码的哪一部分，因为我所做的基本如下(我将分享一个简单的代码算法，以供参考)：
任务:我需要搜索文件A，然后将文件A中的值与文件B中的列值相匹配(它有超过100个CSV文件，每个文件包含超过100万行CSV)，然后在匹配之后，将结果合并到一个csv中。values.Concatenate 提取文件A的列值，然后将其放入值列表中。加载文件B，然后使
浏览 7提问于2022-08-18得票数 0
1回答
当使用spark时，我们可以使用广播变量来优化火花分配不变状态的方式。val broadcastVar = sc.broadcast("hello world")
返回的对象(Broadcast[String])不保留对实际对象("hello“)当从闭包中引用广播变量句柄时，就
浏览 0提问于2020-11-04得票数 3
回答已采纳
1回答
在我下面的实现中，左反连接和除星火之外是否有区别？ | ).toDF("number", "word", "value")
someDF5: org.apache.spark.sql.DataFrameDF有2 cols，另一DF有3 cols时。scala> val someDF4 = so
浏览 1提问于2020-04-29得票数 0
回答已采纳
在执行了一些早期的计算之后，我正在尝试加入两个DataFrames。这个命令很简单：但是，join似乎执行carthesian连接，完全忽略了我的==
浏览 3提问于2015-08-24得票数 13
回答已采纳
2回答
我在Spark 2.2中有dataframe，我想以字符串形式读取列值。val df1 = df.withColumn("col1" ,当col1为null时，我希望在col2中获取字符串值，并将我的逻辑附加到那里
浏览 3提问于2018-04-05得票数 1
3回答
当我们有一个足够小的数据存储到内存中时，我们在Spark中使用广播散列连接。当小数据文件的大小低于spark.sql.autoBroadcastJoinThreshold时，我对此几乎没有疑问。我们暗示为广播的小数据的生命周期是什么？它将在记忆中停留多长时间？我们怎样才能控制它？
例如，如果我已经使用广播散列连接两次使用小<em
浏览 0提问于2018-12-14得票数 11
回答已采纳
1回答
首先，我想让您知道，我在spark方面仍然是一个新手，并且正在习惯惰性评估的概念。 这里是我的问题： 我有两个通过读取CSV.GZ文件加载的spark DataFrames。我试图做的是合并这两个表，以便根据我在第二个表上的键拆分第一个表。Zone|| 01|010010000|| 01|010030000|
| 02|010040000| 然后，当我合并这两个表时<
浏览 35提问于2019-01-22得票数 1
回答已采纳
1回答
目标是使用product_name作为键查找所有相关信息。问题是，有时它被称为prod_name或其他类似的名称。另外，如果product_name链接到ser_no，那么该数据帧中的信息也属于该产品。下面的例子，让我知道如果我能更好地解释这一点。
有人能帮我弄清楚这件事吗？我试图在不显式地将它们连接在一起的情况下自动化这个过程，因为有许多这样的表，而且我不知道所有确切的表/col名称。基本上，我试图从这些蜂巢表中提取与product_name相关的<
浏览 1提问于2021-08-28得票数 0
回答已采纳
1回答
我没有弄清楚Spark操作是如何工作的。我读过，但它并没有说明一些问题。例如，您有两个数据库表，它们保存在星火中(以拼花或任何其他格式保存)。我将得到多少唯一的键(分区)？我要做多少次洗牌？
有非常简单的解决方案--过滤前只需过滤DataFrames，您就可以将所有内容保存在内存中</e
浏览 2提问于2017-03-17得票数 1
回答已采纳
目前，我在欧洲地区运行我的Dataproc集群。我在同一个集群上运行spark应用程序。当使用spark中的Google云存储连接器写入bucket时，bucket会自动使用Multi-Region类和美国属性中的多个区域创建。我正在使用以下命令编写文件这将在具有上述属性<
浏览 0提问于2019-06-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
