关于管理来自连接的数据帧的重复列，有几个很好的答案，例如(How to avoid duplicate columns after join?)，但是如果我只看到一个包含重复列的DataFrame，我必须处理它怎么办。在此之前，我无法控制流程。1,2),(3,4)).toDF("a","a")| a| a|| 1| 2|+---+---
浏览 18提问于2021-11-04得票数 0
回答已采纳
2回答
我有一个包含重复列的csv文件。当我用spark.read.format("CSV").load()阅读时。它会自动重命名列，并在列名的最后一个中追加索引值。""df=spark.read.format('csv').option('header',True).load('desktop/csv/2.csv')""
浏览 12提问于2022-06-29得票数 -1
2回答
在Spark中，我们如何在删除重复列的情况下运行SQL查询？例如，在spark上运行的SQL查询left outer joinon a.id = b.id
在这种情况下，如何删除重复的列我知道我们可以在Spark中使用其他步骤，比如提供遗憾或重命名列，但是有没有一种更快的方法来简单地通过编写SQL查询来删除重复的列？
浏览 8提问于2017-09-10得票数 1
这是我在熊猫身上做的事如何在PySpark中做到这一点？
我找到了，但是代码的数量太不一样了
浏览 3提问于2021-09-30得票数 2
回答已采纳
我试图连接两个表，其中一个表包含重复的列。问题是，这些列被重命名为尾数，因此dropDuplicates()函数无法工作。以下是代码： .load(path);
浏览 0提问于2018-04-08得票数 0
问题陈述:在升级Databricks运行时版本时，复制列在创建dataframe时抛出错误。在较低的运行时，会创建dataframe，并且由于下游不需要重复列，因此它只是在select中被排除在外。在阅读了dataframe之后，我们选择了所需的列。无论如何，我们不需要这个重复的tags。以前，我们在Databricks运行时7.3LTS(Spark3.0.1)上运行，在那里它创建了包含重复列的datafra
浏览 1提问于2021-11-16得票数 2
回答已采纳
3回答
我在hadoop集群中有一个10 in的csv文件，其中包含重复的列。我尝试用SparkR分析它，所以我使用spark-csv包将它解析为DataFrame sqlContext, source= "com.databricks.spark.csv", mode = "DROPMALFORMED"但是由
浏览 0提问于2015-11-20得票数 7
回答已采纳
现在，我想重命名这些列和数据类型，就像案例类MyData中提到的那样。name: String, loc: String)
val inputDF=spark.read.csvcase类中给定的模式，重命名列以及修改数据类型。是否可以将inputDF的列和数据类型重命名为case类中给定的列和数据类型。_c0重命名为id，_c
浏览 2提问于2022-05-02得票数 0
回答已采纳
3回答
我有一个432列的dataframe和24个重复的列。
: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
HashAggregate(keys
浏览 0提问于2019-05-31得票数 0
回答已采纳
2回答
我运行的是spark 2.1，我想把结果写成一个csv到亚马逊S3。在重新分区后，csv文件有一个很长的加密名称，我想将其更改为一个特定的文件名。 .repartition(1) .format("com.databricks.spark.csv") .save(&
浏览 1提问于2017-06-26得票数 3
回答已采纳
我正在尝试将spark-cassandra使用的项目从scala_2.11重构为java_1.8。我使用的是spark-sql_2.11-2..3.1和spark-cassandra-connector_2.11-2.3.1。现在我正在尝试将代码重构到java 1.8中。我有一些隐含和DataFrame被使用。import com.datastax.spark.connector._
浏览 7提问于2019-04-17得票数 0
回答已采纳
我想重命名我在Seq中提供的dataframe中的一些列。我正在使用以下方法： for (column <- dataframe.columns){ <em
浏览 4提问于2022-11-29得票数 0
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
3回答
log4j.appender.rolling.Append=true集群驱动程序日志log4j:将文件/tmp/cc/abc.log.1重命名为/tmp/cc/abc.log.2
log4j:将文件/tmp/cc/abc.log重命名
浏览 0提问于2019-02-15得票数 0
我有一个spark数据框，它可以有重复的列，具有不同的行值，是否可以合并这些重复的列，并获得没有任何重复列的数据帧|name |upload| name| upload1|
| null|
浏览 4提问于2018-01-05得票数 3
回答已采纳
缩短的例子： (2, "b"), columns1 = ["id","name"] ]df2 = spark.c
浏览 3提问于2022-08-17得票数 7
回答已采纳
2回答
我正在尝试创建一个非常大的dataframe，它由许多较小的dataframe (重命名为dataframe名称)组成的一列组成。我使用CONCAT()和循环遍历表示dataframes的字典值，并在索引值上循环创建大型dataframe。CONCAT() join_axes是所有数据格式的公共索引。这很好，但是我有重复的列名。
我必须能够在指定的窗口上循环索引，这是我最后创建数据
浏览 9提问于2016-11-03得票数 0
回答已采纳
3回答
作为一个例子，我有一个类似于在星火DataFrame上定义的方法 def deduplicate如果我稍后升级到定义DataFrame#deduplicate方法的Spark的新版本，会发生什么？客户端代码将悄悄切换到新的实现，这可能会导致微妙的错误(或明显的错误，这是较少的问题)。使用反射，
浏览 1提问于2018-05-14得票数 11
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
