在spark python中使用两列作为键
在Spark Python中使用两列作为键，可以通过使用DataFrame的join操作来实现。join操作可以将两个DataFrame按照指定的键进行连接。
具体步骤如下：
- 导入必要的库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建两个DataFrame对象，假设为df1和df2：
df1 = spark.createDataFrame([(1, 'A', 100), (2, 'B', 200), (3, 'C', 300)], ['id', 'name', 'value1'])
df2 = spark.createDataFrame([(1, 'X', 500), (2, 'Y', 600), (3, 'Z', 700)], ['id', 'label', 'value2'])- 使用
join操作将两个DataFrame连接起来，指定连接的键：
result = df1.join(df2, on=['id'])在这个例子中，我们使用'id'列作为连接的键。join操作会将两个DataFrame中具有相同键值的行连接在一起。
- 查看连接结果：
result.show()连接结果将会显示如下：
+---+----+------+-----+------+
| id|name|value1|label|value2|
+---+----+------+-----+------+
| 1| A| 100| X| 500|
| 2| B| 200| Y| 600|
| 3| C| 300| Z| 700|
+---+----+------+-----+------+在这个例子中，我们将df1和df2按照'id'列进行连接，并将连接结果显示出来。
推荐的腾讯云相关产品：腾讯云的云数据库TDSQL和云数据仓库CDW，可以提供高性能的数据存储和处理能力。您可以通过以下链接了解更多信息：
请注意，以上答案仅供参考，具体的实现方式和推荐产品可能会根据实际需求和环境而有所不同。
相关·内容
我的csv文件中有4列和很多行。departure, 442016, departure, 462017, departure, 21
我面临的问题是，我应该如何在我的键中包括两个列，即映射函数中的Arr_Dep和Date列，以最终减少它以获得平均值。我是spark和python的新手。有什么想法可以继续吗？
浏览 6提问于2017-11-26得票数 0
1回答
过滤并不真的删除行？
、、、、
我的数据经过两个连续的过滤传递，每个都使用一个布尔值的UDF。第一个筛选移除列在某些广播字典中未作为键出现的所有行。第二个筛选对此字典与当前键相关联的值施加阈值。$$anon$1.read(PythonRDD.scala:193)at org.a
浏览 0提问于2018-01-27得票数 2
回答已采纳
我正在尝试使用scala语言在spark中创建查询，数据在cassandra数据库中以表格的形式提供。在Cassandra表中，我有两个键，1)主键2)分区键CREATE TABLE A.B ( id2 text,val conf = new SparkConf(true).set("
浏览 0提问于2017-10-25得票数 2
2回答
在尝试用空值替换Spark dataframe的特定列的值时，我遇到了一个问题。我有一个超过50列的数据帧，其中两列是键列。我想创建一个具有相同模式的新数据帧，并且新数据帧应该具有来自键列的值和非键列中的空值。)
当我在old_df中只有字符
浏览 18提问于2018-08-29得票数 1
回答已采纳
1回答
我在python中创建了一个UDF，用于计算表中两个日期列之间的日期数组，并将其注册到spark会话中。我在管道中使用这个UDF来计算一个新列。现在，当我将这个流水线保存到HDFS，并希望它被读回以便在不同的程序中执行(使用不同的spark会话)时，UDF是不可用的，因为它没有在任何地方全局注册。由于该进程是通用的，并且需要运行多个管道，因此我不
浏览 1提问于2018-02-12得票数 0
取这个初始的和结果的DF，包括开始的DF和我希望在执行.groupBy()之后获得的结果。Exception in thread "main" org.apache.spark.sql.AnalysisException: expression '`surname`' is neither有没有使用DFs实现这一点的简单方法？
浏览 97提问于2019-09-04得票数 1
我想把下面的RDD转换成键值对，每个键有两个值。第一列应该是键，第二列和第三列应该是值。如何使用scala中的Case类执行转换？scala> input[Hardware,Hardware,null]
[Market,Mar
浏览 0提问于2018-05-29得票数 0
2回答
在Spark中给定以下两个数组列： df = spark.createDataFrame( Row(
[Row(x=0, y='a'), Row(x2.4.x中，map函数的行为是复制键。在本例中，相同的键0有两个值(a，c)。我知道Spark 3.x使用configurat
浏览 175提问于2021-07-15得票数 2
1回答
一个特定的映射列有两个键(某些条目可能缺少一个键或两个键，但任何行最多有该列的两个键)。谢谢，阿西克。
PS: Apache Cassandra 2.1.2，
浏览 2提问于2015-02-16得票数 3
如何使用中的列“询问键”获取一些值并将这些值作为新列添加到数据集中？在python中，我们有如下内容：其中D是前面定义的python中的一个函数我如何使用Java在spark<e
浏览 3提问于2017-09-07得票数 1
我正在使用shc-core将spark数据集写入hbase，有关详细信息，请参阅。, "table": { "name": "mongo_hbase_spark_out"}
如何将行
浏览 1提问于2020-05-27得票数 0
1回答
我有一个有两列的Spark流数据帧。一个Integer id列和一个MapType列，其中Integer Id作为键，JSON对象作为值。其中包含其键与id列匹配的JSON对象。我实现了一个Scala udf，它执行查找并返回相应的对象值，但我想知道是否可以使用内置的Spark函数来完成同样的工作。objects".getItem($"id"))
但它
浏览 4提问于2018-08-02得票数 3
回答已采纳
我正在使用Spark.SQL，并且我正在尝试使用MAP语句创建一个透视表，以便将一列的值作为不同的列。--
VALUE2 20 | 1 | 30 我在Python2中有一个查询，它以前可以工作，但现在我必须更改为Python3，并且我变得疯狂。null作为<
浏览 19提问于2019-02-12得票数 1
1回答
我的Cassandra模式包含一个表，其中一个分区键是一个时间戳，一个parameter列是一个集群键。但是，使用
浏览 2提问于2016-02-14得票数 3
我是Spark的新手，我正在尝试将表作为textFIle加载到Spark中我想根据另一个文本文件列读取文本文件，例如：：Id作为A键，如果B.id匹配A.id，那么我必须将文件B读入Spark
浏览 2提问于2017-02-23得票数 0
我们最近更新了我们的预生产环境，从Spark2.3升级到Spark2.4.0。由:MetaException引起(消息:过滤只支持字符串类型的分区键)，原因是:MetaExc
浏览 6提问于2020-02-04得票数 0
我有一个要求，要求在某些列中获取与top X(例如前10位)值相对应的行键。因此，我需要按照所需的列值对hbase行进行排序。我不明白我该怎么做，甚至是做不到。看来hbase并不能很好地满足这一需求。--我可以使用加载整个hbase数据并在其中执行排序吗？会很快吗？连接器和火花将如何处理它？它会在单个节点或多个节点上获取全部数据并以分布式方式排序吗？
Q2.还有更好的方法吗？，Q3，，它在hbase中是可撤销的吗？我应该选择完全不同的框架/技术吗？
浏览 0提问于2018-04-27得票数 2
回答已采纳
我有一个DataFrame，我想加入另一个Dataframe，然后按原始行分组，但是原始行没有唯一的id。我如何添加一个唯一的id或以其他方式完成该目标。
浏览 5提问于2017-03-17得票数 4
回答已采纳
1回答
无法使用大型字典的Pyspark
、、、、
我有一个字典，由键= word，value = Array组成，由300个浮点数组成。我无法在我的“火花放电”中使用这本词典。当这本字典的大小是200万键时，它就不起作用了。F.udf(lambda val: get_sentence_vector(val, fast_text_dictionary), ArrayType(FloatType()))dmp_df_with_vectors = df.filter(
浏览 0提问于2019-08-19得票数 1
回答已采纳
2回答
val spark = SparkSession.builder() .master("local[*]") .config("spark.redis.port", "6379")
浏览 6提问于2020-07-08得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
