Spark UDF Null处理

文章/答案/技术大牛

发布

1回答

scala、apache-spark、udf

我正在努力处理UDF中的空值，该UDF操作由一个浮点数结构组成的dataframe (源自一个hive表)：root在这种方法中，

浏览 9提问于2016-09-16得票数 4

回答已采纳

1回答

如何处理scala中的空值？

scala、apache-spark、user-defined-functions

如果有人能帮我纠正我的UDF，我会非常感激的。val mst = gmt.withZoneSameInstant(mstZoneId) }但是，每当遇到NULL时，它就无法处理这个问题。我正在尝试使用dtm_str == null来处理它，但它仍然失败。有些人能帮我做

浏览 17提问于2022-09-20得票数 0

回答已采纳

1回答

Spark UDF不适用于双精度字段中的空值

scala、apache-spark、apache-spark-dataset

我正在尝试编写一个spark UDF，它将双精度字段的空值替换为0.0。我正在使用Dataset API。下面是UDF：这是基于下面的函数[Double])res15: Double = 0.0 但是当我在Spark中以如下方式使用它时，UDF就不能工作了。<e

浏览 7提问于2017-07-25得票数 4

回答已采纳

2回答

将可空列作为参数传递给Spark

apache-spark、apache-spark-sql

def spark_udf_func(s: String, i:Int): Boolean = { } val df = sc.parallelize("

浏览 0提问于2017-09-05得票数 9

回答已采纳

1回答

为什么简单的UDF抛出一个不受支持的错误？

apache-spark、apache-spark-sql、user-defined-functions

只需使用UDF函数连接2个字符串..The，下面就是我的代码val udfconcat =udf[String ,String, String](concat_udf) spark.sql("

浏览 0提问于2019-04-22得票数 0

回答已采纳

1回答

为什么Spark在调用另一个udf之前转换udf生成的列，而不是raw列？

scala、apache-spark、user-defined-functions

当我试图将它与在创建数据帧时定义的“原始”array<int>一起使用时，在使用我的array<double>之前，Spark不会将其转换为udf。但是，当我从另一个udf生成array<int>时，Spark在调用我的udf之前在array<double>中强制转换该列。这些演员阵容背后的哲学是什么？什么分析器规则对此强制转换负责？下面是一些代码来演示/重现： import org.apache.spark.sql.types

浏览 16提问于2020-12-29得票数 2

2回答

什么是非类型化Scala和类型化Scala？他们有什么不同？

scala、apache-spark、user-defined-functions

Spark may blindly pass null to the Scala closure with primitive-type argument, and the closure will see`udf((x: Int) => x, IntegerType)`, the result is 0 for null input.null，返回的UDF返回null。但是，在Spark3.0中，如果输入值为null，

浏览 9提问于2020-12-03得票数 6

回答已采纳

1回答

为什么在使用返回类型为Option[Long]的对象的UDF时会出现类型不匹配错误？

scala、apache-spark、user-defined-functions、option

我正在尝试用Scala编写一个处理空值的用户定义函数(UDF)。对于我的示例，如果值不为null，我将尝试返回列的纪元。我发现Option[]用于从自定义函数返回空值。下面是我的UDF： def to_epoch(date: Timestamp) : Option[Long] = { Option.apply(date.getTime) Option.empty} val toEpoch

浏览 15提问于2020-09-07得票数 1

1回答

理解pandas_udf

apache-spark、pyspark、apache-spark-sql

pandas_udf文档中的文档页面有以下段落：用户定义的函数不支持布尔表达式中的条件表达式或短路，最终只能在内部执行。如果函数在特定行上可能失败，则解决方法是将条件合并到函数中。它似乎是说，UDF不支持条件语句(如果其他块)，然后建议解决方法是在函数体中包含if else条件。这对我来说毫无意义。请帮帮忙

浏览 2提问于2021-10-28得票数 2

2回答

如何使用Spark会话在Spark2中重载UDF

apache-spark、apache-spark-sql、spark-dataframe

如何使用Spark会话实现Spark2中UDF的方法重载。scala> spark.udf.register("func",(a:String)=>a.length) 以下是我的蜂巢表，名为“orc”及其描述 scala> spark.sql("desc orc&qu

浏览 0提问于2018-03-21得票数 0

回答已采纳

1回答

有没有办法在PySpark中设置pandas_udf的最小批处理大小？

python、pandas、apache-spark、pyspark、apache-arrow

我正在使用pandas_udf在我的spark集群上应用机器学习模型，并且对预定义通过箭头发送到UDF的最小记录数很感兴趣。在本教程中，我将spark会议设置为具有最大批量大小和启用箭头。我可以很容易地设置最大批处理大小，但是我想知道是否有类似的方法来设置UDF将处理的最小批处理大小？spark = SparkSession.builder.appName('App').getOrCreate() spa

浏览 14提问于2019-05-22得票数 3

1回答

PySPark -用于在操作后确定dtype的函数

python、apache-spark、pyspark

我使用以下方法将它们相加>>> spark.createDataFrame([(101,>>> spark.createDataFrame([(101, 1, 16.1)], ['ID', 'A', 'B']).withColumn('Result', udf_a

浏览 0提问于2018-04-13得票数 1

回答已采纳

3回答

SparkSQL:如何处理用户定义函数中的空值？

scala、apache-spark、apache-spark-sql、user-defined-functions、nullable

| x| y|| null| null||2015-09-12|20150912.filterNot( "-".toSet)和工作，处理空值是不可能的。尽管如此，我还是可以做一些事情 (d:Strin

浏览 4提问于2015-09-02得票数 33

回答已采纳

2回答

星星之胞udf:没有处理程序用于联非新议程分析异常

scala、apache-spark、hive、pyspark、spark-hive

创建了一个项目‘spark udf’&编写的单元udf如下所示：import org.apache.hadoop.hive.ql.exec.UDF spark.sql("CREATE OR REPLACE FUNCTION uppercase AS 'com.spark.udf</

浏览 4提问于2018-09-04得票数 5

回答已采纳

1回答

UDF注册错误:不支持org.apache.spark.sql.Dataset[org.apache.spark.sql.Row]类型的架构

scala、apache-spark、apache-spark-sql、spark-dataframe

当注册低于错误的UDF函数时，其他UDF函数正在工作，但只有这个UDF提供问题。错误: org.apache.spark.sql.Datasetorg.apache.spark.sql.Row类型的架构不支持spark.udf.register("udfname",udf_name _) def udf_name(paramter1: Strin

浏览 2提问于2017-03-28得票数 0

3回答

Scala/Spark:检查数组列中的null元素，但IntelliJ建议不要使用null？

scala、apache-spark、apache-spark-sql

我有一个名为responseTimes的专栏，它属于arrayType：我正在尝试添加另一列来计算此数组中的null或未设置值的数量：df.withColumn("totalNulls", when(contains_null(col("responseTimes")),

浏览 0提问于2021-03-27得票数 0

3回答

如何处理原始可空类型的Spark* UDF输入输出*

sql、apache-spark、null、udf

问题：inputDF.show() | x || null|+-----+inputDF udf { (x: Double) => 2.0 }.apply($"x") // will not be invoked if $"x" == nu

浏览 4提问于2017-03-15得票数 5

1回答

如何在星火数据库中实现链式功能？

scala、apache-spark、apache-spark-sql

谢谢val trimStr: String => String = _.trimval upperCaseStr: String => String = _.toUpperCaseval upperCaseUDF = udf(upperCaseStr)

浏览 2提问于2016-12-03得票数 1

回答已采纳

1回答

用星火将行/对象从滑动窗口传递到UDF

apache-spark

我试图使用自定义的UDF作为滑动窗口的一部分处理包含多列的行/对象。可以使用collect_list将单个列传递给自定义UDF，但由于有大量列，我更愿意直接传递行/对象，以简化代码的管理(因为将添加/删除列，而且处理过程并不总是需要所有列)。import org.apache.spark.sql.SparkSessionimport org.apache.spar

浏览 0提问于2018-05-10得票数 0

回答已采纳

1回答

如何在Java中将Spark* broadcast变量传递给UDF？*

java、apache-spark

我需要将此列表传递给我的UDF。我认为广播变量可以很好地满足我的需求，因为Properties列表可能会很长。我尝试使用org.apache.spark.sql.functions.lit发送文字值，但这导致我的UDF从未被调用：我在网上得到的指示是，只有列类型和文字字符串类型才能传递到UDF中。是这样吗？是否可以不传入其他变量，如映射、数组等？记住，我说的是Sp

浏览 81提问于2020-02-03得票数 1

点击加载更多