我正在尝试用Scala编写一个处理空值的用户定义函数(UDF)。对于我的示例，如果值不为null，我将尝试返回列的纪元。我发现Option[]用于从自定义函数返回空值。下面是我的UDF： def to_epoch(date: Timestamp) : Option[Long] = { .schema(ListeningStatsSchema.sche
浏览 15提问于2020-09-07得票数 1
因此，我想创建一个可以在Pyspark中使用的scala UDF。它适用于Scala Spark。 我的问题是试图让这个在pyspark中可调用。当我在scala spark中使用它时，输出列类型是Array(ArrayType(StructType(StructField(_1,StringType,true), StructField(_2,注册此函数时，我无法定义正确的返回<
浏览 29提问于2020-10-09得票数 4
回答已采纳
在切换到Spark3.0运行udf((x: Int) => x, IntegerType)后，我得到了这个错误这些解决方案是由星火公司自己提出的，在搜索了一段时间之后，我访问了火花迁移指南页面：
在Spark3.0中，默认情况下不允许使用o
浏览 9提问于2020-12-03得票数 6
回答已采纳
1回答
我正在尝试使用DecimalType(18,2)。以下是我的代码： //created a DecimalType)
我收到错误decimalType如何修复</em
浏览 1提问于2019-08-21得票数 1
为了获得这些DF，我们使用在同一文件或助手模块中定义的一些pyspark.sql.functions.udf。问题是，当我们这样做时，udf函数冻结了我们的工作。我们发现的令人讨厌的修复方法是在作业中定义udf函数，并将它们提供给从我们的模块导入的函数。我找到的的另一个修复方法是定义一个类：
from pyspark.sql.functions
浏览 12提问于2017-07-14得票数 9
我想知道如何使用JAVA从Spark SQL中的domain-specific language(DSL)函数调用UDF函数。我有UDF函数(仅举个例子)： @Override
public Boolean callsqlContext.sql</
浏览 2提问于2015-11-20得票数 2
我想将我的features(类型:ml.linalg的稀疏向量)分解为每个特性的索引和值，因此我执行以下操作：df3.show();
但我得到了错误：Failed to execute user defined functionanonfun$38: (struct<_1:int,_2:doubl
浏览 1提问于2018-08-21得票数 1
回答已采纳
当注册低于错误的UDF函数时，其他UDF函数正在工作，但只有这个UDF提供问题。错误: org.apache.spark.sql.Datasetorg.apache.spark.sql.Row类型的架构不支持spark.udf.register("udfname",udf_n
浏览 2提问于2017-03-28得票数 0
2回答
我在使用Spark和Databricks，并有以下代码： return when(col(column) !(column)).otherwise(None)x = rawSmallDf.withColumn("z", replaceBlanksWithNulls("z"))replaceBlanksWithNulls_Udf</em
浏览 1提问于2019-05-09得票数 7
回答已采纳
我在Scala中的Spark dataframe中有一个列，它是使用以下命令聚合多列后生成的 agg(collect_list(struct(col(abc), col(aaa)).as(def)我希望将此列传递给UDF进行进一步处理，以便处理此聚合列中的一个索引。当我将参数传递给我的UDF时： .withColumn(def, remove
(col(xyz), col(def))) UDF-类型<
浏览 21提问于2021-10-19得票数 1
回答已采纳
1回答
问题
我可以在Java中成功地创建一个UDF。但是，除非它在SQL查询中，否则我不能使用它：
浏览 4提问于2016-03-27得票数 5
回答已采纳
：sql.udf.register("date_range_build", TimeRangeUdfs.DateRangeBuild(_: Seq[(AnyRef, Number)]))(2)当我使用</
浏览 4提问于2019-11-26得票数 0
回答已采纳
代码：org.apache.spark.sql.Dataset.toJavaRDD()函数引发此错误我在RuleParamsBean,java类中有许多字段。下面是声明和setter getter方法。private Date UDF_DTTM_3;
public Dat
浏览 1提问于2018-07-16得票数 0
回答已采纳
我在Spark表达式( SQL语言)中使用自己的Spark函数(不是通过Spark )。如果在我的UDF函数中出现故障，我想使用所有列访问整行，并公开此信息(例如，通过自定义异常或日志)，以更好地处理错误。现在，我不知道如何访问UDF中的行列，甚至不知道如何通过SQL将所有列传递给我的UDF。
浏览 1提问于2020-02-25得票数 2
回答已采纳
在使用Spark的DataFrames时，需要用户定义函数(UDF)来映射列中的数据。UDF要求显式指定参数类型。在我的例子中，我需要操作一个由对象数组组成的列，但我不知道要使用哪种类型。org.apache.spark.sql.functions对列中的数据执行基本操作相对简单
import org.apache.sp
浏览 2提问于2016-08-18得票数 29
回答已采纳
2回答
我有一个dataframe，它有两列: account _ id和电子邮件 _ address，现在我想再添加一列'updated _ 电子邮件 _ 地址‘，我在电子邮件中调用了一些函数 _ 获取更新的地址|+---------------+--------------+---------------+ 在函数内部更新_ 电子邮件‘它打印出来： Column 它还显示了df的列数据类型</
浏览 38提问于2019-12-13得票数 1
回答已采纳
在使用sql之前，可以在上下文中使用代码注册UDF。Spark提出了一个命令行工具：spark-sql来提交一些SQL请求。此工具使用火花-提交与--class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver。在使用spark-sql</
浏览 3提问于2021-12-29得票数 2
我目前正在使用Spark 2.1，并且有一个主脚本，它调用一个包含我所有转换方法的助手模块。(s)在我将所有UDF分解到帮助程序文件之前，我能够使用spark.sql('sql statement')通过我的但是，在我将UDF移动到助手文件并在主脚本顶部导入该文件后<
浏览 1提问于2017-05-05得票数 3
我使用的是吡咯烷酮2.0。我得到了下面代码的酸洗错误from datetime import datetime
timevalue=datetime.now()
spark.udf.register('Getday1)as stringti
浏览 4提问于2016-12-26得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
