对spark dataframe中的列执行SQL ISNULL函数

文章/答案/技术大牛

发布

1回答

dataframe、apache-spark

我是spark的新手。我正在尝试在特定的金额列上应用ISNULL函数。但它给出的错误是找不到。在进行任何类型的聚合时，有没有方法将ISNULL应用于特定的对象。**agg(sum(ISNULL("amount",0))**.as("totalAmountvalue")) 我不能申请当其他人在此金额列，因为我有一些其他目的。因此，我只能在进行聚合时应用I

浏览 53提问于2019-11-25得票数 0

2回答

在星火上创建动态ArrayIndexOutOfBoundsException时的DataFrame

dataframe、scala、apache-spark

我的目标是从来自外部dataframe的列和值动态创建一个dataframe。= spark.createDataFrame(spark.sparkContext.parallelize(data), schema) 执行上述脚本时的输出如下：data: Seq[org.apache.spark.<

浏览 4提问于2022-07-18得票数 0

回答已采纳

1回答

迭代的列并更新指定的值

scala、apache-spark、hive、apache-spark-sql

为了迭代从Hive表创建的Spark列并更新所有所需的列值，我尝试了以下代码。import org.apache.spark.sql.functions._ val a:DataFrame = <e

浏览 0提问于2018-05-06得票数 0

回答已采纳

10回答

如何有效地找到PySpark数据中每列的空值和南值计数？

apache-spark、pyspark、apache-spark-sql

(1, 4, None), (1, 6, float("nan")), ]预期输出注意:我以前在堆栈溢出检查中发现的问题只检查null &而

浏览 15提问于2017-06-19得票数 96

回答已采纳

2回答

使用Spark中的某些列进行验证

scala、apache-spark、dataframe

验证数据：|dataframe|Validation Checks||Attendee |isEmpty,IsNullcleanvar columns = df.columns //struct(df.columns map col: _*) val colD

浏览 1提问于2018-06-27得票数 1

回答已采纳

2回答

Spark-scala聚合列表中的多个列

scala、apache-spark、aggregate

我有一个数据帧，其中有几个数值列是不固定的(它们在每次执行过程中都会发生变化)。假设我有一个带有数字列名称的Seq对象。我想对这些列中的每一列应用一个聚合函数。,exprs: org.apache.spark.sql.Column*)org.apache.spark.sql.DataFrame <and> (ex

浏览 2提问于2018-09-04得票数 0

1回答

替换pyspark数据帧中的值

python、apache-spark、pyspark、spark-dataframe

我对pyspark是个新手，正在做我的第一个spark项目，我面临着两个问题。a)无法使用以下方法引用列b)不能将我的spark数据帧中的值替换为聚合值，如meanfrom pyspark import SparkConf, SparkContext from

浏览 3提问于2017-09-28得票数 0

2回答

在火花数据帧中，如果另一列中的值位于广播变量数组中，则向新列添加值。

scala、apache-spark、merge、apache-spark-sql

我在dataset中有一个列(call是col_id，它包含可能在broadcast_array中的IntegerType值，但它们可能不是。我只是尝试创建一个新列(称为new_col)，以检查每一行的col_id值是否在broadcast_array中。如果是这样，新的列值应该是Available，否则它可以是null。Unknown Error

浏览 2提问于2017-12-11得票数 1

回答已采纳

2回答

Spark中的重新分区

apache-spark、apache-spark-sql

我们使用Spark的SQL 对集群上的Hive表执行查询。如何对查询中的列执行REPARTITION ( SQL-API )？请注意，我们不使用Dataframe，而是使用SQL (例如，SELECT * from table WHERE col = 1)。我理解PySpark在Dataframe API中提供了一个相同

浏览 1提问于2020-06-23得票数 1

回答已采纳

3回答

用mean - Spark数据帧替换缺失的值

scala、apache-spark、dataframe、apache-spark-sql、imputation

我有一个Spark Dataframe，其中有一些缺失值。我想通过用该列的平均值替换缺少的值来执行一个简单的补偿。我对Spark非常陌生，所以我一直在努力实现这个逻辑。到目前为止，我做到了以下几点：df.withColumn("new_Col", when($"ColA".<e

浏览 1提问于2016-10-15得票数 17

回答已采纳

3回答

“DataFrame”对象没有属性“withColumn”

python、pyspark

我正在尝试比较两个pandas数据帧，但是我得到一个错误，因为'DataFrame‘对象没有'withColumn’属性。可能的问题是什么？import pandas as pdpd_df1=pd.DataFrame(df1.dtypes,columns=

浏览 24提问于2019-07-11得票数 2

1回答

如何在SQL中使用枢轴(不是作为DataFrame分组操作符)？

sql、scala、apache-spark、apache-spark-sql

我有这个dataframe，我试图将这个dataframe操作转换成sql使用pivot函数。的方式使用pivot函数，我试着应用，但失败了。有谁想过以sql的方式应用枢轴函数吗？中的异常:列别名的数量与列数不匹配。列别名数: 1；列数:3；第2行pos 21 打破我的头，在想是否可能。

浏览 0提问于2020-05-11得票数 4

回答已采纳

2回答

如何合并火花(java)中具有不同模式的两个拼花文件

java、apache-spark、apache-spark-sql

我有两个不同列数的拼板文件，并试图将它们与下面的代码片段合并// dataSetParquet1.union(dataSetParquet2);Caused by: org.apache.spark.sql.AnalysisException: Ca

浏览 2提问于2021-08-26得票数 2

回答已采纳

1回答

DataFrame到RDD[(字符串，字符串)]的转换

scala、apache-spark、redis、apache-kafka、databricks

我想把数据库中的org.apache.spark.sql.DataFrame 转换成 org.apache.spark.rdd.RDD[(String, String)] ，有人能帮上忙吗？背景(更好的解决方案也是受欢迎的)：我有一个Kafka流，它(经过一些步骤)变成了一个2列数据框架。我想把它放到Redis缓存中，第一列作为键，第二列作为值。更具体地说，输入的

浏览 0提问于2019-03-25得票数 0

回答已采纳

2回答

将Spark数据帧转换为org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector]

scala、apache-spark、apache-spark-sql、rdd、apache-spark-mllib

我对scala和Spark2.1非常陌生。我试图计算数据框架中许多元素之间的相关性，如下所示： 1 | 1 | 4 | 3 required: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] val correlMatrix: Matrix = St

浏览 6提问于2017-02-20得票数 1

回答已采纳

2回答

用布尔值标记火花数据格式中的故障行

scala、hadoop、apache-spark、dataframe、spark-dataframe

该框架要么从整个数据中删除坏行，要么停止执行。现在，在apache中，我观察到糟糕的行并没有妨碍执行。这很好，但是当从数据中获取业务洞察力时，数据的质量确实很重要！现在，我用spark.read.csv将文本文件加载到Dataframe中。现在，我想要做的是分析Dataframe并动态创建一个名为" isMyRowBad "的列</em

浏览 2提问于2017-04-08得票数 1

回答已采纳

1回答

突触-笔记本不工作从管道

scala、databricks、azure-synapse

我在Azure Synapse中有一个笔记本，它使用synapsesql函数将拼花文件读入数据帧，然后将数据帧内容推入SQL池中的一个表中。手动执行笔记本是成功的，并在Synapse池中创建和填充表。这里有什么问题？我在突触is函数周围得到了不推荐的警告，但不知道什么是不推荐的。代码在

浏览 1提问于2022-03-31得票数 0

1回答

Pyspark、Spark* SQL和toPandas().shape中计数不一致的原因是什么？*

pandas、apache-spark、pyspark、apache-spark-sql、databricks

此外，我已经检查了我的Spark DataFrame不包含null或NaN值。我在Pandas中也做了同样的检查。#train is spark dataframe下面是不同的计数值：train.toPandas().sh

浏览 27提问于2019-07-25得票数 2

7回答

使用哪种查询来获得更好的性能，是在SQL中联接还是使用Dataset API？

apache-spark、apache-spark-sql、hbase

在使用spark、*Spark sql join*和*spark dataframe join*从HBASE获取和操作数据时，哪个更快？

浏览 2提问于2016-06-01得票数 2

1回答

spark中用于检查数据帧中的列的isNullOrEmpty函数为null或空字符串

scala、dataframe、apache-spark、bigdata

如何检查dataframe的列是否为null或空ins spark。例如。type IdentifiedDataFrame = {SourceIdentfier, DataFrame} && col(ServiceNumberColName).isNull

浏览 85提问于2021-07-08得票数 0

点击加载更多