1回答
我有一个这样的df col1 col2 col33 fe file2 现在我需要将col3与；分隔符连接起来file1;file23 fe file2 我用过concat_ws(";"，collect_set(col3)) 但在col3中，
浏览 31提问于2020-08-25得票数 0
2回答
在Spark中，我们如何在删除重复列的情况下运行SQL查询？例如，在spark上运行的SQL查询left outer joinon a.id = b.id
在这种情况下，如何删除重复的列我知道我们可以在Spark中使用其他步骤，比如提供遗憾或重命名列，但是有没有一种更快的方法来简单地通过编写SQL查询来删除重复的列？
浏览 8提问于2017-09-10得票数 1
3回答
我想对3个数据帧使用join，但是有一些列我们不需要，或者与其他数据帧有一些重复的名称，所以我想删除一些列，如下所示： .join(cc_df, 'id', 'left')请注
浏览 0提问于2018-05-11得票数 9
回答已采纳
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我看到有一个dataFrame.withColumnRenamed方法，但我只能重命名一列。我有涉及多个列的连接。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()方法的dataFrame中的表别名是什么？给定：
scala</
浏览 4提问于2016-02-28得票数 3
我正在尝试通过使用以下代码过滤掉null或空字符串的行来创建一个新的数据框： cannot be applied to (Boolean)
val df1= df.filter(df("fieldA") !
浏览 0提问于2016-05-20得票数 24
回答已采纳
1回答
当我们在Hortonworks集群上通过木星笔记本处理以下步骤时，我们遇到了一个奇怪的情况：
在大表pivoted_<e
浏览 2提问于2018-08-06得票数 1
3回答
当我试图连接两个数据帧时，使用
DataFrame joindf = dataFrame.join(df, df.col(joinCol)); //.equalTo(dataFrame.col(joinCol
浏览 4提问于2016-02-19得票数 3
我需要在spark Scala中将其转换为Decimal。请帮我看一下cast(DecimalType)语句。
浏览 1提问于2020-06-02得票数 0
7回答
这个df有"A“、"B”和"C“列。现在假设我有一个Array，它包含这个df列的名称：我想以这样的方式来做一个df.select()，这样我就可以指定哪些列不能选择。例如:假设我不想选择列"B“。我试过了
df.select(column_names.filter(
浏览 21提问于2015-07-15得票数 22
回答已采纳
在Spark中，根据映射表(String -> Integer)，有没有办法将字符串数组转换为相应的整数数组？例如:在Spark中，有5亿个数组， Array String 1 : ['TOM','White','Black']
Array String 2 : ['BCD','TTTT','Black']
浏览 25提问于2019-09-02得票数 1
我正在读取spark dataframe中的文件。在第一列中，我将获得两个用"_“连接的值。我需要将第一列拆分为两列，并保持其余列不变。我正在使用Scala和Spark 例如： col1 col2 col3
a 1
浏览 32提问于2019-05-01得票数 0
1回答
我正在为scala在本地模式下的Spark应用程序做一个POC。我需要处理一个json数据集，它有300列，但只有很少的记录。我们使用的是Spark SQL，我们的程序对于数据集中的30 - 40列运行得非常好。我们在Where子句中使用Spark SQL和其他条件进行内部连接和外部连接。问题是SQL没有为300列连接执行，它只是卡住了。不确定如何分析SQL。这个问题有没有解决方案，而不必在
浏览 0提问于2019-11-05得票数 0
1回答
假设我有两个数据处理程序，df1和df2。df1和df2都包含"id“列。我想过滤df1，这样得到的df，df1prime
不用任何连接。我该怎么做？回到RDDs而不是DFs会有帮助吗？火星雨和</e
浏览 1提问于2017-02-22得票数 0
3回答
我有两个数据格式: DF1和DF2。我的任务是选择只存在于DF1中而不存在于DF2中的数据。any1能帮忙吗？我用的是Spark1.6shell。
浏览 6提问于2017-03-06得票数 0
回答已采纳
10回答
我有两个数据帧，包含以下列：// Array(ts, id, X1, X2)df2.columns在我做完之后最后，我得到了以下专栏：Array(ts, id, X1, X2, ts, id, Y1, Y2)。我可以预期公共列将被删除。有什
浏览 17提问于2016-02-08得票数 64
我正在尝试向DataFrame中添加一个新列。此列的值是另一列的值，该列的名称依赖于同一DataFrame中的其他列。源列A_1的名称来自于连接列A和列B的值。我知道我可以添加一个基于另一个列和一个常量的新列，如下所示：我还知道<
浏览 1提问于2018-01-10得票数 5
1回答
示例数据帧：import spark.implicits._
(1, "ABC")> DF.show|id | word|| 1| ABC|| 3| GHIJ|要求:列数和名称可以是
浏览 6提问于2020-06-04得票数 0
回答已采纳
3回答
这只返回转换后的列。def test_concat(df: sd.DataFrame, col_names: list) -> sd.DataFrame:如何在原始DF中用转换一次的转换替换现有列并返回整个DF？)], ['id', 'metric', 'score&
浏览 1提问于2020-07-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
