如何合并或连接spark中列号不相等的数据帧
在Spark中，合并或连接列号不相等的数据帧可以通过使用join操作来实现。join操作是一种将两个数据集合并在一起的操作，其中一个数据集作为左侧数据集，另一个数据集作为右侧数据集。
要合并或连接列号不相等的数据帧，可以按照以下步骤进行操作：
- 导入必要的Spark库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.appName("DataFrameJoin").getOrCreate()- 创建两个数据帧（假设为df1和df2），并使用不同的列名：
data1 = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df1 = spark.createDataFrame(data1, ["Name", "Age"])
data2 = [("Alice", "Engineer"), ("Bob", "Doctor"), ("Dave", "Teacher")]
df2 = spark.createDataFrame(data2, ["Name", "Profession"])- 使用join操作将两个数据帧连接在一起，通过指定连接条件和连接类型：
joined_df = df1.join(df2, on="Name", how="inner")在上述代码中，使用on="Name"指定连接条件为"Name"列，使用how="inner"指定连接类型为内连接。
- 查看连接后的结果：
joined_df.show()连接后的结果将包含两个数据帧的共同列（在本例中为"Name"列），以及其他列。
这是一个基本的示例，展示了如何合并或连接列号不相等的数据帧。根据实际情况，你可以根据需要选择不同的连接类型（如内连接、左连接、右连接或全外连接）以及指定不同的连接条件。
对于Spark相关的产品和文档，你可以参考腾讯云的Spark相关产品和服务，例如腾讯云的云数据仓库CDW（https://cloud.tencent.com/product/cdw）和云数据分析CDA（https://cloud.tencent.com/product/cda）等。这些产品提供了强大的数据处理和分析能力，可以帮助你在云计算环境中更好地处理和分析数据。
相关·内容
1回答
我正在做一个使用spark的项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连接不相等的基于列的数据帧，请指导我
浏览 13提问于2016-09-22得票数 0
1回答
我有两个数据帧我想加入。
一个数据帧是这样的，其中syscode_ntwrk被破折号拆分。
spark.createDataFrame(
[
(1, '1234 - ESPN'),
(2, '1234 - ESPN'),
(3, '963 - CNN'),
(4, '963 - CNN'),
],
['id', 'col1']
)
另一种是这种格式，其中syscode_ntwrk连接在一起。
spark.c
浏览 8提问于2020-11-18得票数 0
回答已采纳
我是大数据平台的新手。您能告诉我不同的方法:1)我们如何连接到spark for Spark sql? 2)我们如何连接到spark数据帧或数据集？
对于hive，我们通过unix与beeline连接，如果我们有像teradata这样的sql工具，我们必须通过安装了hive驱动的odbc连接到hive。
如何连接到spark sql和spark数据帧或数据集？
另外，如果有人能给我提供一个很好的链接或资源，让像我这样的新手理解概念、命令及其用法，easily.That将会非常有帮助。
浏览 13提问于2020-06-09得票数 0
我有两个数据帧，我需要使用具有两个连接谓词的非相等连接(即不等式连接)将它们连接在一起。
一个数据帧是直方图DataFrame[bin: bigint, lower_bound: double, upper_bound: double]
另一个数据帧是观察值DataFrame[id: bigint, observation: double]的集合
我需要确定每个观察值落入直方图的哪个柱状图中，如下所示：
observations_df.join(histogram_df,
(
(observations_df.observation >= histogram_d
浏览 1提问于2018-10-02得票数 1
我正在尝试用可能在count_2列中的数据替换count_1列中的所有空数据。下面是给定输入的预期输出。我如何在Spark Scala中做到这一点？ 输入数据帧 name count_1 count_2
Java 10000 null
Python null 20000
Scala 30000 null
R null null
Swift 50000 65000 输出数据帧 name merged
Java 10000
Python 20000
Scala 30000
R null
Swift 50000
浏览 23提问于2021-09-05得票数 1
回答已采纳
我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据。
如果您打开任何csv文件，您可以看到它们都具有相同的格式，第一列用于日期，第二列用于数据系列。
所以现在我改用PySpark，但是我不知道连接所有文件的最有效的方法是什么，对于pandas数据帧，我会像这样连接单个帧的列表，因为我想让它们在日期上合并：
bigframe = pd.concat(
浏览 14提问于2020-02-17得票数 2
回答已采纳
我在PySpark中有两个数据帧，并希望对它们执行外连接。我需要能够在每个表中不同且可能改变的列名上连接它们(因此需要是一个变量，而不是硬编码)。但是，当我此时执行此操作时，PySpark返回一个数据帧，其中包含正在联接的两个列，其中一些值填充了空值。 我当前使用的代码示例如下： >>> df1 = spark.createDataFrame([[1,'apple'],[2,'orange']], ['id_fruit','fruit'])
>>> df2 = spark.createData
浏览 16提问于2020-11-08得票数 1
回答已采纳
我需要向spark数据帧添加一列，该列应该是重复的序列号，例如[1, 1, 1, 2, 2, 2, 3, 3, 3, ..., 10000, 10000, 10000]。我知道我们可以使用monotonically_increasing_id来获得作为新列的序列号。 val df_new = df.withColumn("id", monotonically_increasing_id) 那么，扩展此函数以获取重复序列号的解决方案是什么？谢谢!
浏览 20提问于2021-03-26得票数 0
回答已采纳
1回答
我有两个数据帧，这两个数据帧的列的ID号应该匹配。然而，这两个数据帧的ID数量不同。一个有118个ID，另一个有103个ID。具有118个ID的数据帧有全部103个ID，但有一些额外的ID。我想从118行数据帧中提取两列，并根据ID号将它们与103行数据帧中匹配的ID合并。我不知道解决这个问题的最简单的方法。
浏览 2提问于2019-02-07得票数 3
回答已采纳
1回答
我正在尝试通过对几个列使用dropDuplicates()来删除spark数据帧中的重复项。但是由于大量的混洗和数据倾斜，作业被挂起了。为此，我使用了5个内核和30 do的内存。我正在执行dropDuplicates()的数据大约是1,200万行。
考虑到数据倾斜和混洗，请给我建议在spark中删除重复项的最优方法。
浏览 0提问于2018-09-25得票数 0
我有33个单列，每个列都作为一个数据帧工作： col1_df、col2_df、col3_df....col33_df 如何将它们连接到一个数据帧中？ 我的代码是 df = [col1_df, col2_df....col33_df], but the return is not a dataframe 有没有一个熊猫路线可以解决这个问题？
浏览 12提问于2021-01-12得票数 1
2回答
Spark联合列顺序
、、、
我最近在Spark遇到了一些奇怪的事情。据我所知，根据spark dfs的基于列的存储方法，列的顺序实际上没有任何意义，它们就像字典中的键。
在df.union(df2)期间，列的顺序重要吗？我本以为它不应该，但根据sql论坛的智慧，它确实是这样的。
所以我们有了df1
df1
| a| b|
+---+----+
| 1| asd|
| 2|asda|
| 3| f1f|
+---+----+
df2
| b| a|
+----+---+
| asd| 1|
|asda| 2|
| f1f| 3|
+----+---+
result
| a| b|
+--
浏览 3提问于2019-07-09得票数 26
回答已采纳
我们正在使用spark来处理大型数据，并且最近获得了新的用例，我们需要使用spark更新Hive表中的数据。
下面是一个简单的例子:数据驻留在Hive表中，应用程序使用PySpark读取数据帧(比如PySpark)。例句:数据帧在列下面。
EmpNo名称年龄工资
1 aaaa 28 30000
2 bbbb 38 20000
3 cccc 26 25000
4dd 30 32000
需要添加更多的记录到表使用火花。
例如：
Action EmpNo名称年龄工资
加5 Add 30 32000
应用程序可以通过剥离Action列并附加到表中，将新数据读入第二个数据帧(例如df2)。它是笔直的，它
浏览 1提问于2019-03-29得票数 2
1回答
我试图广播火花数据，尝试了几种方法，但无法广播它。我想循环所有列，以便从另一个数据帧(在SchemaWithHeader colName结果为1 )中进行某些处理。例如，-循环是列-名称、年龄和薪资所必需的。
方法1
(‘SchemaDFWithoutHeader’，1)，(‘年龄’，1)，(‘性别’，0)，(‘SchemaDFWithoutHeader’，1)，(“工资”，1) rdd =rdd.map SchemaWithHeader = rdd.map(lambda x: Row(ColName=x，Result=bool(X1)
降至误差以下
SchemaWith
浏览 2提问于2018-12-26得票数 0
1回答
合并数据帧中的所有列
、、、
我在Databricks中编写Python代码，我使用的是spark 2.4.5。 我需要一个带有两个参数的UDF。第一个是数据帧，第二个是SKid，在该数据帧中，我需要对该数据帧上的所有列进行散列处理。 我已经写了下面的代码，但我需要知道如何连接动态数据帧中的所有列？ def xHashDataframe(df,skColumn):
a = df.select(
col(skColumn)
,md5(
concat(
col("column1"), lit("~"),
col("
浏览 8提问于2020-10-08得票数 2
回答已采纳
1回答
我需要创建一个Delta文件，其中包含超过150 KPI。因为我们有150个计算，所以我们大概要创建60个左右的数据帧。最后，将各个数据帧连接为一个最终数据帧。这个最后的数据框架只有大约60k个记录。但是，当最终创建"Delta“湖文件时，它失败了，下面的错误是这样的。
"The Spark driver has stopped unexpectedly and is restarting. Your notebook will be automatically reattached"
我们的集群配置相当不错，内存为144 20，有20个内核。
任何解决这个问题的办法。
浏览 6提问于2022-06-05得票数 0
我有2个数据帧，即accidents_data，它有15列，bad_air_quality_data数据帧，它有5列。
现在我想在列‘地区名称’，‘工作日’，‘小时’，‘月’上对两个数据框进行内部连接，最后在连接后只保留来自accidents_data的数据。
accidents_data：
bad_air_quality_data：
我尝试使用以下行合并这两个数据帧，但没有显示任何结果。
accidents_data_bad_air = pd.merge(accidents_data, bad_air_quality_data, on=['District Nam
浏览 3提问于2019-03-08得票数 0
我正在尝试在一个数据帧中合并多个json文件数据，然后再对该数据帧执行任何操作。假设我有两个文件file1.txt，file2.txt，它包含如下数据
file1.txt
{"a":1 , "b":"abc", "c":"abc2", "d":"abc3"}
file2.txt
{"a":1 , "b":"abc", "c":"abc2", "d":"abc3"}
所以我像
浏览 6提问于2017-03-02得票数 0
回答已采纳
我有一个spark dataframe，它有两列: name，age，如下：
[Row(name=u'Alice', age=2), Row(name=u'Bob', age=5)]
数据帧是使用以下命令创建的
sqlContext.createDataFrame()
接下来我需要做的是从外部的'csv‘文件中添加第三列'UserId’。外部文件有几列，但我只需要包括第一列，即'UserId'：
两个数据源中的记录数相同。我在windows操作系统上使用的是独立的pyspark版本。最终结果应该是一个包含三列的新数据帧:
浏览 9提问于2016-09-16得票数 0
回答已采纳
1回答
您好，我正在尝试连接spark中的两个数据帧，并收到以下错误：
org.apache.spark.sql.AnalysisException: Reference 'Adapazari' is ambiguous,
could be: Adapazari#100064, Adapazari#100065.;
根据几个消息来源的说法，当您尝试将两个不同的数据帧连接在一起时，可能会发生这种情况，这两个数据帧都具有相同的名称(、、)。然而，在我的例子中，这并不是错误的来源。我之所以能说出来，是因为(1)我的列都有不同的名称，(2)错误中指示的reference是包含在join列中的
浏览 8提问于2017-02-14得票数 1
回答已采纳
1回答
我有两个h2o帧，我想基于这两个列中存在的一个相同的列来连接它们，我使用Java API并从spark dataframes中获取h2o帧。
H2OFrame trainDataFrame = h2oContext.asH2OFrame(train_validation);
H2OFrame validationDataFrame = h2oContext.asH2OFrame(train_validation);
H2OFrame testDataFrame = h2oContext.asH2OFrame(testSparkDataFrame);
我可以使用spa
浏览 8提问于2017-06-22得票数 2
在熊猫中，这可以通过column.name来完成。
但是，当它的spark数据帧列时如何做同样的事情呢？
例如，调用程序有一个spark数据帧: spark_df
>>> spark_df.columns
['admit', 'gre', 'gpa', 'rank']
此程序调用我的函数: my_function(spark_df 'rank‘)在my_function中，我需要列的名称，即’rank‘
如果是pandas数据帧，我们可以在my_function内部使用
>>> pand
浏览 1提问于2016-09-28得票数 55
我有两个数据帧，一个是原始的，另一个应该是原始的，再加上几列处理后的附加数据。我希望确保在数据帧之间保留原始列之间的对应关系(即，所有主题标识符仍然与每行中的原始数据向量匹配)。
如果原始(orig)是dim 5000 x 50，后处理(pp)是5000 x 100，前50列应该是相同的，我如何检查？有没有像setdiff()这样的东西可以比较完整的数据帧？
SETDIFF <- setdiff(orig[,c(1:50)], pp[,c(1:50)])
浏览 0提问于2015-07-26得票数 1
我正在读取多个路径，并使用以下命令加载这些路径中的拼图文件： val paths = List("/mnt/datamount/tmp/fldr=2345","/mnt/datamount/tmp/fldr=1234","/mnt/datamount/tmp/fldr=5678") 下面是读取命令： val readdf = spark.read.format("parquet").load(paths: _*) 这将读取以下结构中提到的路径中的所有拼图文件： col1: String
col2: Int
col3: Long
浏览 19提问于2021-03-19得票数 0
我是R的初学者，我试着弄清楚这个了不起的(有时是神经疲劳)程序有什么限制。
这里是我的问题：我从两个不同的原始数据文件中有两个数据帧(Df)。在这两个数据帧中，我为个人设置了带有ID号的列。我知道如何通过ID将它们合并到df，问题是在其中一个数据帧中注册ID号的人输入了一些不正确的ID号。例如，ID应该如下所示：NK-02-0028。但它的类型如下：NK-020028。
因此，当我合并这两个数据帧时，ID将不匹配。如果我只有10个观察的数据帧，这不是一个大问题，但我有大约。在一个df和355个df中分别观察了8000次和355次。正确的ID在df中，有355个，错误的在df中，有8000个。我
浏览 2提问于2016-03-07得票数 0
3回答
我正在尝试使用SparkSQL对数据帧执行广播散列联接，如下所示：
在该示例中，(小) DataFrame通过saveAsTable持久化，然后通过spark SQL (即通过sqlContext.sql("...")) )进行连接
我遇到的问题是，我需要使用SQL来构造我的sparkSQL (我需要用一个ID列表连接大约50个表，并且不想手动编写这个SQL语句)。
How do I tell spark to use the broadcast hash join via the API? The issue is that if I load the ID list (f
浏览 7提问于2016-05-27得票数 16
回答已采纳
1回答
我在读取spark数据帧时发现了这个奇怪的问题。我将数据帧重新划分为50k个分区。但是，当我读取数据帧并对其执行计数操作时，我发现当我使用spark 2.0时，底层rdd只有2143个分区。
因此，我转到保存重新分区的数据的路径，发现
hfs -ls /repartitionedData/ | wc -l
50476
因此，它在保存数据的同时创建了50k个paritions。
然而，在spark 2.0中，
val d = spark.read.parquet("repartitionedData")
d.rdd.getNumPartitions
res4: Int = 214
浏览 11提问于2017-08-11得票数 4
回答已采纳
1回答
我在Spark 2.4中有两个数据帧，它们的大小几乎相同。每个都有大约4000万条记录。一种是通过简单地从S3加载数据帧生成的，另一种是加载一堆数据帧并使用sparkSQL生成大型数据帧。然后我将这两个数据帧多次连接到多个数据帧中，并尝试将它们作为CSV写入S3……然而，我看到我的写入时间超过了30分钟，我不确定它是否正在重新评估数据帧，或者我是否需要更多CPU来完成此任务。尽管如此，我还是希望有人能对如何优化这些写入时间提供一些建议。
浏览 12提问于2020-05-14得票数 0
回答已采纳
我正在尝试创建一个回归模型来使用设计参数(dataframe 1)来预测可交付成果(dataframe 2)。这两个数据帧都有一个id号，我将其用作索引。
是否可以使用两个数据帧为sklearn创建一个数据集？或者我需要加入他们？如果我需要加入他们，那么最好的方式是什么？
# import data
df1= pd.read_excel('data.xlsx', sheet_name='Data1',index_col='Unnamed: 0')
df2= pd.read_excel('data.xlsx', sheet_nam
浏览 0提问于2021-04-12得票数 0
我在一个数据记录上有多个csv文件。我可以连接到datalake，甚至可以列出文件。但我需要将这些文件放在一个数据帧中，以便可以将此数据帧加载到SQL中。加载到SQL也没有问题。问题是，只有datalakefolder中的最后一个文件的内容被读写到SQL中(因此也在dataframe中)。可能是因为每次都会覆盖数据帧。但我不知道如何在每个周期中将数据附加到数据帧中。下面是我使用的代码： for file in dayfolders.collect():
filename = file.name
pathname = file.path
tablen
浏览 53提问于2020-01-24得票数 0
回答已采纳
1回答
我们试图通过spark SQL连接在tableau中生成报告，但我发现我们最终连接到了hive meta-store。
如果是这样的话，这种新的spark SQL连接有什么优势呢？有没有一种方法可以使用spark SQL从tableau连接到持久的spark数据帧。
浏览 0提问于2016-02-05得票数 0
在关闭连接时，以以下方式复制到spark的数据帧会发生什么情况？
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
iris_tbl <- copy_to(sc, iris)
spark_disconnect(sc)
如果它们不是自动删除的，除了通过下面的方法删除每个数据帧之外，有什么简单的方法可以删除在会话期间创建的所有数据帧吗？
sc %>% spark_session() %>% invoke("catalog") %>% invoke
浏览 5提问于2018-08-24得票数 0
回答已采纳
我有两个数据帧A和B。
A有30列- reason1,reason2.......reason30
B有两列- reason, Value
现在，我需要在B中查找所有以reason*开头的列，并在数据帧A的一列中获取相应的值。
因此，最终的数据帧将具有reason1,reason2.......reason30, value
我试图将每一列与其他数据帧连接起来，但这不是一种整洁的方法。
请帮助我使用spark/scala获得优化和快速的解决方案。
浏览 9提问于2021-05-17得票数 0
如何联合包含不同列数的两个数据帧A和B，并为数据帧A和B中不常见的列获取空值？
我可以看到spark的unionAll不支持此操作，并抛出以下错误
org.apache.spark.sql.AnalysisException: Union can only be performed on tables with the same number of columns, but the left table has 11 columns and the right has 10;
Spark版本: 1.6.1
浏览 0提问于2016-08-04得票数 0
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我构建了一个"table.column“-> "value”的映射，并将其传递给fill方法。但我得到的是异常而不是成功:(。我有什么选择？我看到有一个dataFrame.withColumnRenamed方法，但我只能重命名一列。我有涉及多个列的连接。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()方法的dataFrame中的表别名是什么？
给定：
scala>
浏览 4提问于2016-02-28得票数 3
我使用的是spark v1.6。我有下面的数据框架。
Primary_key | Dim_id
PK1 |1
PK2 |2
PK3 |3
每当有新记录进入时，我都想用新的序列号创建一个新的数据帧。假设我从源获得了2条值为PK4和PK5的新记录，我想创建一个值为4和5的新dim_ids。因此，我的新数据帧应该如下所示。
Primary_key | Dim_id
PK1 |1
PK2 |2
PK3 |3
PK4 |4
PK5 |5
如何在spark dataframe v1.6中为新记录生成运行序列号？
浏览 13提问于2016-11-29得票数 2
我是Spark的新手，我正在使用下面给出的数据框代码加载一个巨大的CSV文件 Dataset<Row> df = sqlContext.read().format("com.databricks.spark.csv").schema(customSchema)
.option("delimiter", "|").option("header", true).load(inputDataPath); 现在在数据框中加载CSV数据后，现在我想遍历每一行，并基于一些列从PostgreSQL
浏览 24提问于2021-01-08得票数 0
2回答
我有一个包含两列的Spark数据帧：src_edge和dest_edge。我只想创建一个新的spark dataframe，以便它包含一个包含来自src_edge和dest_edge的值的列id。
src dst
1 2
1 3
我想将df2创建为：
id
1
1
2
3
如果可能的话，我也想创建没有重复值的df2。有谁知道怎么做吗？
id
1
2
3
浏览 1提问于2019-03-19得票数 1
我在Jupyter Notebook中有以下代码：
import pandas as pd
pd.set_option('display.max_colwidth', 80)
my_df.select('field_1','field_2').show()
我想增加列宽，这样就可以看到field_1和field_2的完整值。我知道我们可以对pandas数据帧使用pd.set_option('display.max_colwidth', 80)，但它对spark数据帧似乎不起作用。
有没有办法增加spark数据帧的列宽，就像我们对p
浏览 2提问于2016-08-26得票数 2
我有两个数据帧，我想根据时间范围将它们连接起来，例如
数据帧A
user timestamp product
A 2015/3/13 1
B 2015/3/15 2
数据帧B
user time behavior
A 2015/3/1 2
A 2015/3/8 3
A 2015/3/13 1
B 2015/3/1 2
我想合并2个数据帧，如下所示(帧B左连接到帧A)列"timestamp1“比列" timesta
浏览 3提问于2017-05-03得票数 2
1回答
目前我正在开发Spark版本2.1.0，作为我的数据摄取工作的一部分，我必须使用ingest方法将数据摄取到hive表中。但是Spark 2.1版本有一个bug，当插入数据到hive表中时，insertinto方法不会保持列顺序。 我已经尝试在append模式下使用saveAsTable方法，但它不会起作用，因为在数据摄取之前，我首先使用正确的数据类型手动创建表。 我尝试从现有的hive表中创建spark数据帧，并尝试从其中获取列序列，并传递此列表结果以确保列序列，但每次都在hive表的顶部创建数据帧以获取列序列。每次加载hive表来创建数据帧都会占用内存吗？ 有没有人知道，如何用更好的方法
浏览 15提问于2019-02-26得票数 0
我有两个数据帧：
val df1 = List(("Sid", 1), ("Teni", 2), ("Bob", 3), ("Spark", 4), ("Hbase", 5)).toDF("name", "value")
val df2 = List(("Sidhartha", 1), ("Tammineni", 2), ("Bobby", 3), ("Spark", 4)).toDF("name", &
浏览 0提问于2021-04-14得票数 0
我有一个spark数据帧，经过多次转换后，它需要与其父数据帧之一连接。除非我将列'year‘重命名为'year’，否则此连接将失败。我以前也遇到过这样的行为，在6-7次转换之后，需要将数据帧与第三次转换的输出连接起来。
我不明白为什么会发生这种情况，所以我尝试了一些随机的东西，比如持久化，尝试使用spark sql API而不是pyspark，但仍然得到了同样的问题。在使用spark sql的情况下，连接在使用相同名称重命名列后工作
由于一些限制，我不能共享代码，但一般代码流如下
DF = spark.read(.......)
subset DF
df1 =
浏览 25提问于2019-08-17得票数 0
回答已采纳
我正在使用spark对我的数据集运行一个查询。查询的结果很小，但仍然是分区的。
我希望合并生成的DataFrame并按列排序行。我试过了
DataFrame result = sparkSQLContext.sql("my sql").coalesce(1).orderBy("col1")
result.toJSON().saveAsTextFile("output")
我也试过
DataFrame result = sparkSQLContext.sql("my sql").repartition(1).orderBy("
浏览 2提问于2015-07-31得票数 6
我有很多列的现有数据帧。如何添加一个包含0...n-1值的列(其中n是我的数据帧中的行数。当我没有任何数据帧时，我可以这样做，比如：spark.range(...).toDF。
浏览 10提问于2021-02-15得票数 0
回答已采纳
我们有多个数据帧。
其中一个数据帧是主数据帧，它使用左-外连接与其他数据帧连接。所有这些数据帧都连接在4列上(比如col1、col2、col3、col4)。
为了减少数据混洗，目前我们正在对4个连接列上的所有数据帧进行重新分区，然后连接这些数据帧(从左到外)。
有没有更好的方法来连接/重新划分这些数据帧，以便最大限度地减少数据混洗？
谢谢
浏览 2提问于2019-02-08得票数 2
1回答
我有两个数据帧，我已经连接成一个。我最终想要的是列出这两种列中存在的所有列。数据帧来自两个不同的db表，我需要根据两个表中存在的查询来生成查询。
我尝试执行以下操作：concat_per.query('doe_per==focus_per')，但它返回了一个空数据帧。
doe_per focus_per
2 NaN Period_02
3 Period_01 Period_06
4 Period_02 Period_08
5 Period_03 NaN
6 Period_04 NaN
7 Per
浏览 2提问于2015-12-02得票数 0
回答已采纳
我在spark中有一个数据帧，如下所示
a b
( 21 , 23 )
( 23 , 21 )
( 22 , 21 )
( 21 , 22 )
我想要一个数据帧，应该是这样的：
( 21 , 22 )
( 21 , 23 )
( 22 , 21 )
( 22 , 23 )
( 23 , 21 )
( 23 , 22 )
因此，它应该考虑这两列的所有可能的组合。如何才能做到这一点？
我尝试了笛卡尔连接，但它占用了太多的时间非常小的dataset.Any其他替代方案？
谢谢。
浏览 2提问于2016-02-28得票数 0
我有一个数据帧，df1，看起来像这样：
Name Event Factor1
John A 2
John B 3
Ken A 1.5
....
还有一个额外的数据帧，像这样的df2：
Name Event Factor2
John A 1.2
John B .5
Ken A 2
我想在两个列Name和Event上连接这两个数据帧，得到的列factor1和2彼此相乘。
Name Event FactorResult
John A 2.4
John B 1.5
Ken A 3
做这件事最好的方法是什么？我不确定如何在两个
浏览 0提问于2019-02-13得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
