Spark dataframe过滤空值和空格

文章/答案/技术大牛

发布

0回答

scala、apache-spark-sql

我有一个spark dataframe，需要为它过滤特定列的空值和空格。1 abc3 null5 def 我想要应用一个过滤器来过滤掉那些col2为nulls或空白的记录。版本: Spark1.6.2 Scala

浏览 16提问于2016-12-31得票数 3

回答已采纳

2回答

Spark 2.0，DataFrame，筛选字符串列，不等运算符(!==)已弃用

apache-spark、spark-dataframe

我正在尝试过滤DataFrame，只保留那些具有特定字符串列的行不为空。df.filter($"stringColumn" !== "")如何检查Spark > 2.0中的字符串列值是否为空？

浏览 1提问于2016-10-20得票数 22

回答已采纳

1回答

过滤掉null字符串和空字符串insparksql

apache-spark-sql

好的，我有一些数据，我想过滤掉所有的空值和空值。因此，我使用简单的sql命令首先过滤掉空值。org.apache.spark.sql.DataFrame = [username: array<string>]| [null]| | [null]|有没有办法过滤掉这个空条目，并通过使用sparksql过滤掉所

浏览 4提问于2016-04-29得票数 3

1回答

将Spark DataFrame过滤器与列名列表一起使用

scala、apache-spark、apache-spark-sql

我必须使用List[String]过滤Spark DataFrame中的非空列值 val keyList = List("columnA", "columnB", "columnC", "columnD对于名为key的单个列，语法应为： val nonNullDf = df.filter(col("key").isNotNull) 我的问题是如何在前面的过滤器中使用keyList？

浏览 16提问于2021-04-19得票数 1

回答已采纳

2回答

访问空数组或空数组时引发错误

java、json、scala、apache-spark

doe", "home": ["1111", "222"], }家庭电话号码数组有时可能是空的我的spark应用程序收到这些JSONS的列表，并执行以下操作：val result =

浏览 2提问于2017-05-21得票数 3

回答已采纳

1回答

如何在星火中实现不同的分区？

scala、apache-spark、partitioning

有一个包含列的dataframew：date和error。数据的分区应该类似于yyyy-dd-mm，但是所有有错误的列都应该写入不同的位置。是的，我可以添加过滤器和写两次，但这会导致两次阅读。使用分区“黑客”(理论上)允许读一次和写一次。

浏览 1提问于2022-03-16得票数 0

3回答

包含空值的ArrayType行筛选器

apache-spark、pyspark、apache-spark-sql

假设我有一个像这样的Spark dataframe：现在，我希望筛选数组不包含None值的行(在我的例子中，只保留第一行)。array_contains(test_df.a, None)) AnalysisException：“由于数据类型不匹配，无法解析&#x

浏览 1提问于2021-11-12得票数 1

2回答

使用SCALA删除DataFrame中的空格。(我已经将CSV文件加载到RDD中，然后尝试删除其中的空格

scala、apache-spark、rdd

我的CSV文件中的数据包含不需要的空格和空值。我已经把这个文件加载到spark RDD中了，到目前为止没有问题。现在我必须从这个RDD中删除空格和空值。怎么做呢?有没有人能帮我？object Oracle {def main(args: Array[String]): Unit = {import org.apache.spark</

浏览 41提问于2019-05-27得票数 0

2回答

我正在尝试使用Scala和Spark筛选一个比较两个日期列的DataFrame。根据过滤后的DataFrame，在顶部运行计算以计算新列。，用于过滤DataFrame。从这个问题开始，，我意识到我需要传递一个字符串值。如果我尝试使用像lt(lit("2018-12-15"))这样的硬编码值，那么过滤就有效了。DataTypes.StringType)) .withColumn(&quo

浏览 0提问于2019-01-15得票数 1

回答已采纳

1回答

当空值不是预期值时，Spark* filter函数会过滤它*

scala、apache-spark、apache-spark-sql

spark filter函数在不应该过滤空值的时候过滤空值。我的条件$"test" =!= "T"不应该删除空行。val seq = Seq((null, "T"),(null, "F"),(null, "F"),("F", "F"),("T", "C")) import spark

浏览 31提问于2021-04-23得票数 0

回答已采纳

1回答

在Spark* DataFrame中按数组值过滤*

scala、apache-spark、dataframe、elasticsearch、apache-spark-sql

我正在使用带有elasticsearch的apache spark 1.5数据帧，我试图从包含id列表(数组)的列中过滤id。中，我尝试这样做：val dataFrame = sqlContext.read .load("index/type") dataFrame.filter(dataFrame

浏览 0提问于2016-02-25得票数 2

回答已采纳

2回答

如何删除星火表列中的空白

python、apache-spark、pyspark、databricks、sparktable

我想从特定列(Purch_location)中的所有值中删除空格。我使用的是spark表，而不是dataframe或SQL表(但如果需要，我可以使用dataframe或SQL表)。下面是我的星火表的生成方式：cols = dataset.columns+----------+----import regexp_replace dataset1=dataset.select

浏览 6提问于2017-12-03得票数 2

2回答

Apache管道:在dataset中过滤空行

scala、apache-spark、apache-spark-sql、apache-spark-mllib、apache-spark-ml

在我的Spark管道(Spark2.3.0)中，我使用这样的RegexTokenizer： .setInputCol("text") .setMinTokenLength(3)text| wordsa the | [the

浏览 1提问于2018-11-19得票数 0

回答已采纳

1回答

PySpark DataFrames -使用不同类型列之间的比较进行过滤

python、apache-spark、pyspark、apache-spark-sql

假设您有一个具有各种类型列(string，double.)的dataframe以及在字符串类型列中表示“缺失值”的特殊值“想念”。from pyspark.sql import SparkSession [1, 'miss'], [None, 'y

浏览 0提问于2019-01-31得票数 2

回答已采纳

1回答

如何在pyspark dataframe中任何列为空的行中进行筛选

dataframe、filter、pyspark、null

它必须已经在堆栈溢出的某个位置，但是我只是找到了过滤吡火花数据ways的行的方法，其中1特定列为null，而不是任何列为null。(range(100)),"column2":["a","b","c",None]*25,"column3":["a","b","c","d",None]*20} sparkDf

浏览 4提问于2020-08-24得票数 3

回答已采纳

5回答

Spark Dataframe验证拼接写入的列名

apache-spark、pyspark、apache-spark-sql、spark-streaming、parquet

我正在使用从JSON事件流转换而来的Dataframe来处理事件，这些数据帧最终会被写成Parquet格式。但是，一些JSON事件在键中包含空格，我希望在将其转换为Parquet之前记录和过滤/删除数据帧中的此类事件，因为;{}()\n\t=在拼图方案(CatalystSchemaConverter)中被视为特殊字符如何在Dataframe中对列名执行此类验证，并完全删除此类事件，而不会导致Spark Streaming作业出错。1Spark的Catalyst

浏览 188提问于2016-07-05得票数 17

1回答

基于可用值的多列Scala Spark数据帧过滤器

scala、apache-spark、apache-spark-sql

我需要用下面的条件过滤一个数据帧。我有2列4Wheels(斯巴鲁，丰田，通用，空/空)和2Wheels(雅马哈，哈雷，印度，空/空)。我必须过滤4Wheels的值(斯巴鲁，丰田)，如果4Wheels包含空/空，那么过滤2Wheels的值(Yamaha，Harley) 我在不同的例子中找不到这种类型的过滤。我是spark</e

浏览 12提问于2021-08-19得票数 0

2回答

使用PySpark连接两个CSV文件中的数据

pyspark、mapreduce

我就是这样做的：df2 = spark.read.csv('df2.csv', sep=FROM d1 ON d1.id = d2.id;是否有更有效的方法来读取和</

浏览 2提问于2022-06-11得票数 0

1回答

Spark-SQL中需要TRUE和FALSE列

apache-spark-sql

我正在尝试为Spark SQL DataFrame编写一个多值过滤器。我有：val field: String // The field of interest我正在试着想出过滤器的规格。目前，我有： val filter = values.map(value

浏览 5提问于2017-02-14得票数 5

回答已采纳

2回答

火花过滤器从来没有应用于DataFrame在Java

java、oracle、apache-spark、dataframe

我对Spark非常陌生，我有一个查询，它从两个Oracle表中获取数据。这样的表必须由一个字段连接，该字段可以很好地处理下面的代码。但是，我需要应用过滤器，就像在Oracle "where“子句中那样。例如，雇用年龄在25岁至50岁之间的员工。我还必须应用GroupBy过滤器，并使用OrderBy对最终结果进行排序。其余的过滤器根本没有应用，我也不知道为什么。你能帮帮我吗？我确信我遗漏了一些东西，因为没有编译错误。数据加载良好，但"where“条款似乎对数据没有任何影响，尽管有些雇员年龄在25至50岁之

浏览 6提问于2015-07-08得票数 2

回答已采纳

点击加载更多