1回答
Scala火花UDF函数，它接受输入并将其放入数组中
scala、apache-spark、apache-spark-sql、user-defined-functions
我正在尝试为Spark创建一个Scala，它可以在Spark中使用。该函数的目标是接受任何列类型作为输入，并将其放入ArrayType中，除非输入已经是ArrayType。下面是我到目前为止掌握的代码：importorg.apache.spark.sql.types._
浏览 8提问于2022-05-06得票数 0
3回答
使用Spark注册配置单元自定义UDF (Spark SQL) 2.0.0
apache-spark、apache-spark-sql、udf
我正在开发一个spark 2.0.0版本，其中我的需求是在我的sql上下文中使用'com.facebook.hive.udf.UDFNumberRows‘函数来使用其中一个查询。在我的集群with Hive查询中，我将其用作临时函数，只需定义:创建临时函数myFunc为'com.facebook.hive.udf.UDFNumberRows'，这非常简单。<init>(Dataset.scala:167)
at org.
浏览 1提问于2016-11-02得票数 5
2回答
什么是非类型化Scala和类型化Scala？他们有什么不同？
scala、apache-spark、user-defined-functions
在SparkVersion2.4和更低版本中，如果org.apache.spark.sql.functions.udf(AnyRef，DataType)获得带有基元类型参数的Scala闭包，则如果输入值为引入此行为更改是因为Spark3.0默认使用Scala2.12构建。)，称为Typed Scala UDF。另外，函数被传递给udf，它是(x:Int) => x，它的输入类型显然是定义的，但是火花声明了You
浏览 9提问于2020-12-03得票数 6
回答已采纳
2回答
如何在火花外壳中注册Java SPark UDF？
java、scala、apache-spark、user-defined-functions
下面是我的java udf代码， @Override用下面
浏览 2提问于2019-02-19得票数 1
2回答
如何使用Spark会话在Spark2中重载UDF
apache-spark、apache-spark-sql、spark-dataframe
如何使用Spark会话实现Spark2中UDF的方法重载。scala> spark.udf.register("func",(a:String)=>a.length)
以下是我的蜂巢表，名为“orc”及其描述
scala> spark
浏览 0提问于2018-03-21得票数 0
回答已采纳
1回答
当输出是要从Pyspark使用的复杂类型(使用StructType和StructField)时，如何传递Scala UserDefinedFunction
scala、apache-spark、pyspark、interop、user-defined-functions
因此，我想创建一个可以在Pyspark中使用的scala UDF。我想要的是接受一个字符串列表作为x，一个字符串列表作为y，并获得所有的字符串组合 因此，如果我有x= "a"，"B“和y="A"，"b”，我期望输出= [a，A，a，B，b，A，b，B] 我编写的Scala它适用于Scala Spark。 我的问题是试图让这个在pyspark中可调用。import org.apache.spark.sql.fun
浏览 29提问于2020-10-09得票数 4
回答已采纳
1回答
在星火中调用Scala时，如何将BinaryType转换为Array[Byte]？
scala、apache-spark、user-defined-functions
我用Scala编写了以下UDF：import java.util.zip.String = { val output = scala.io.Source.fromInputStreamreturn output
val decompressUdf = (c
浏览 1提问于2021-05-01得票数 0
回答已采纳
1回答
如何在Apache Spark中将Scala UDF转换为Java版本？
java、scala、apache-spark、user-defined-functions、spark-dataframe
我在scala中编写了apache spark udf，如下所示：我想用java编写这个udf，如下所示：
UserDefi
浏览 4提问于2016-02-03得票数 1
4回答
SQL表达式中的Apache火花startsWith
scala、apache-spark、apache-spark-sql
在Apache中，我可以使用startsWith函数来测试列的值：在Spark表达式中也可以这样做吗
浏览 0提问于2019-01-03得票数 6
回答已采纳
1回答
在对象中定义，引发“没有TypeTag可用的字符串”。
scala、apache-spark、user-defined-functions
在交互式会话中复制粘贴函数的行为与用sbt编译的不同。val correctDiacritics = udf((s: scala.Predef.String) => {[error/xxyy.scala import org.apache.spark.sql.functions.udf val correc
浏览 0提问于2018-05-22得票数 1
回答已采纳
2回答
星星之胞udf:没有处理程序用于联非新议程分析异常
scala、apache-spark、hive、pyspark、spark-hive
创建了一个项目‘spark udf’&编写的单元udf如下所示：import org.apache.hadoop.hive.ql.exec.UDF
spark.sql("CREATE OR REPLACE FUNCTION uppercase AS 'com.spark.udf</
浏览 4提问于2018-09-04得票数 5
回答已采纳
1回答
整型、长整型或双精度型作为Spark UDF的函数参数
scala、apache-spark、spark-dataframe、user-defined-functions
我有一个简单的调用Scala函数的spark UDF。Scala函数目前使用'Long‘类型，如下所示 }
由于spark不支持Any类型，有没有一种方法可以传递一个泛型类型，可以在Long、Int或Double类型中工作，而
浏览 2提问于2017-08-24得票数 0
1回答
不支持Spark 2.1.0 UDF模式类型
scala、apache-spark、user-defined-functions
我尝试使用列_c1和_c2作为Point()的输入，然后创建一个新的Point值列，如下所示然后我调用这个函数：但是，当我声明udf时，我得到以下错误$schemaFor$2.apply(ScalaR
浏览 2提问于2017-04-27得票数 1
2回答
使用Scala、Spark UDF中的类型多态性将一系列Map展平为Map
scala、apache-spark、generics
我有以下函数，它将字符串的映射序列展平为双精度。如何将类型字符串转换为双泛型？编辑1:我使用的是spark 2.3。我知道spark 2.4中的高阶函数 编辑2:我变得更接近了。在val flattenSeqOfMaps = udf { f _}中，我需要什么来代替f _。请比较下面的joinMap类型签名和flattenSeqOfMaps类型签名 scala> val joinMap = udf { values: Seq[Map[String
浏览 34提问于2019-03-20得票数 1
回答已采纳
1回答
Apache Spark 2.3.0 -如何将两个array<string>合并成一个array<string>
apache-spark、apache-spark-sql、spark-java
输入-预期输出-有人能解释一下如何使用Java在Spark
浏览 9提问于2021-09-22得票数 1
2回答
Spark中的数组交集
apache-spark、apache-spark-sql、hiveql、apache-spark-dataset
= R2.id WHERE ARRAY_INTERSECTION(R1.writer, R2.writer)[0] is not null ")sqlContext.sql("SELECT R2.= R2.id WHERE ARRAY_INTERSECT(R1.writer, R2.writer)[0] is not null ")
线程"main“org.apache.spark.sql.AnalysisException中的异常:未定义函数：‘ARRAY’。此函
浏览 4提问于2017-03-10得票数 6
回答已采纳
1回答
我需要相当于spark SQL中的sql IsNumeric函数。
apache-spark-sql
就像我们有SQL ISNUMERIC函数来验证表达式是否是数字一样，我需要在Spark SQL中是否有任何等效的函数，我试图找到它，但没有找到。如果有人可以帮助或建议相同的？
浏览 1提问于2019-06-24得票数 1
2回答
ApacheSpark1.6.0，callUDF正在失败
apache-spark、spark-dataframe
我正在与callUDF功能做斗争，我总是收到函数未注册的错误。我已经粘贴了下面的示例代码： public String call(String$$anonfun$2.apply(FunctionRegistry.scala:65)
at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegis
浏览 0提问于2016-02-26得票数 1
回答已采纳
1回答
为什么在使用返回类型为Option[Long]的对象的UDF时会出现类型不匹配错误？
scala、apache-spark、user-defined-functions、option
我正在尝试用Scala编写一个处理空值的用户定义函数(UDF)。对于我的示例，如果值不为null，我将尝试返回列的纪元。我发现Option[]用于从自定义函数返回空值。下面是我的UDF： def to_epoch(date: Timestamp) : Option[Long] = { Option.empty}
val toEpoch: (Timestamp => Option[Long]) => UserDefinedF
浏览 15提问于2020-09-07得票数 1
1回答
提供scala sbt libraryDependencies -避免下载第三方库
scala、apache-spark、sbt
我有下面的Scala代码引用第三方库，import com.protegrity.spark.udf.ptyProtectStrimport com.protegrity.spark.udf.ptyProtectInt
class ptyProtectStr extends UDF2[St
浏览 14提问于2020-07-18得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号