我有一个在hortonworks 2.6沙箱中工作的hive查询，但它不能在沙箱版本上工作。3.0因为这个例外： Caused by: org.apache.hive.com.esotericsoftware.kryo.KryoException: Encountered unregisteredat org.apache.hive.com.esotericsoftware.kryo.Kryo.readClass:185) 我该如何修复</
浏览 159提问于2019-02-07得票数 0
回答已采纳
对于没有UDF的SQL，所有操作都很好，但是当涉及到任何包含UDF的SQL时：add jar viewfs:///path_to_the_jarfunction func_name AS 'com.abc.ClassName';
它总是抛出异常，如下火花-集群模式(在火
浏览 6提问于2018-04-22得票数 0
回答已采纳
当我在调试模式下在单元控制台上运行一个查询时，我得到了一个错误，如下所示。我使用的是hive1.2.1和Spark1.5.1；我检查了hive，它有类定义org/apache/hive/spark/client/Job。(DefaultClassResolver.java:115)
at org.apache.hive.com.esotericsoftware.kryo.Kryo</em
浏览 0提问于2015-10-20得票数 3
1回答
正如中提到的，我创建了UDF。如何解释日志，或者如何知道函数是否已成功创建？同样，当我使用函数级别执行单元查询时，我得到了异常，如中所描述的
浏览 3提问于2013-09-13得票数 0
回答已采纳
我正在尝试使用Scala编写一个Hive UDF。此UDF应在另一个配置单元表上运行查询并返回获得的值 例如。我在hive中有一个主表，其中包含emp_id、start_date、end_date和salary列。我正在尝试想出一个使用scala的hive udf来创建一个函数(GetSal)，在这个函数中，我可以传递id和一些日期，并在另一个hive查询中获得该id的有效工资，如
浏览 15提问于2019-04-21得票数 0
1回答
当我在星火版10.4.x-scala2.12上的databricks笔记本上测试它时。同样的代码运行得很好。当我在一个打包的jar中运行这个程序并以相同的星火版本向databricks提交时，它会导致这样的异常，Job aborted("udf_lambda", udf_lambda)
val sql_sta
浏览 10提问于2022-12-03得票数 0
2回答
我试图在火花流中使用Kryo串行化器。我在上读到-
所以我试着注册所有的课程。:213) at com.esotericsoftware.kryo.Kryo.writeClassAndObject(Kryo.java:568)的com.esotericsoftware.kryo.KryoException: java.lang.IllegalArg
浏览 10提问于2016-12-30得票数 3
我正在运行一个Spark SQL查询，有大量的数据(大约5000万条记录).Due到繁重的记录，查询在集群中变得更慢，所以它需要很长的时间(20分钟)来处理整个数据。我在query.How中使用inner join，left join可以提高性能。
浏览 3提问于2018-04-02得票数 0
运行在Amazon上的Hive0.11，我尝试用GenericUDF类创建一个简单的UDF。我试图使用UDF，只需从列中获取一个值，并将其打印回屏幕。问题的关键在于，在构建更复杂的东西之前，我是否能让它发挥作用。add jar ..../GenericTest.jar;当我<em
浏览 2提问于2014-09-18得票数 0
回答已采纳
1回答
我正在尝试在Hive中运行UDF，它基本上应该使用表中的值作为另一个参数来扫描外部csv文件。我使用的查询：add FILE hdfs:///myfile/myfile.csv;结果不稳定，在某些情况下，完全相同的查询可以很好地工作，但
浏览 7提问于2017-04-06得票数 2
1回答
我已经用Java创建了一个自定义UDF，我可以在Hive中使用它。你能告诉我如何/在哪里可以给这个UDF添加一些文档吗？我想在hive中提供DESCRIBE FUNCTION <CUSTOM UDF>时查看此文档。
浏览 15提问于2016-09-09得票数 0
回答已采纳
我可以创建一个UDF，并使用CREATE TEMPORARY FUNCTION为当前的配置单元会话配置它。有没有办法这样做一次，并使此功能可用于所有用户未来的所有会话？
浏览 0提问于2012-12-19得票数 2
5回答
问题是:如果我像这样在蜂箱中声明一个temporary function：create temporaryfunction getContentValue as 'com.my.udf.GetContentValue';
在这个单元会话getContentValue 中，它可以很好地工作。但是，我想要的不是每次启动hive会话时都要添加
浏览 0提问于2013-11-18得票数 3
我试图让蜂巢在星火上正常工作，但它似乎没有加载蜂巢-2.0.1.jar。我可以让蜂巢先生做得很好。我使用的是蜂巢2.0.1和星火1.6.1。跟随蜂巢星火教程。我在hive-site.xml上设置了所有必要的属性，将星星之花程序集jar链接到hive文件夹，我已经设置了所有的环境变量(SPARK_HOME等)。我启动了火花大师和工人。还使用调试级别启动了hiveserver2。尝试运行一个简单的查询“选择计数(*).”就我在hive日志
浏览 12提问于2016-07-29得票数 0
1回答
在E.Capriolo等人编写的Hive的第168页上，它声明："...in的Java原语不是对象，不能为空。“因此，对于简单的Hive UDF： public double evaluate(double value另外，如何使用Java原语测试是否将null传递给我们的UDF？想必，我们可以将上述内容改写为：
public c
浏览 2提问于2017-11-06得票数 1
回答已采纳
1回答
我必须阅读spark中现有的hive，所以在spark.sql中我创建了临时函数并使用它，它在火花外壳中工作得很好，但是在火花-提交错误时失败了：
com.xxx.x.x.udfs.isb_udf.evaluate(Java.lang.string)：org.apache.hadoop.hive.metadata.HiveException :无法在xxxx类的对象xxxx.udf上执行方法公共静态布尔xxxx.udf</e
浏览 0提问于2019-07-14得票数 2
我使用命令'add file‘，该文件随后将由UDF加载。
但是我在hdfs上找不到hive添加的文件(hdfs://namenode:8026/user/hdfs)，我需要udf方法中的路径。文件的路径是什么，如何通过udf使用它？
浏览 2提问于2017-05-05得票数 0
回答已采纳
2回答
我一直在苦苦思索如何将MS的IDENTITY列的hive等效项添加到表中并自动递增。我找到了很多对org.apache.hadoop.hive.contrib.udf.UDFRowSequence的引用，但我不知道它在我的集群的HortonWorks 2.3安装中的什么位置。我曾尝试将SerDe jar用于另一个任务，但我无法让hive查看/使用它(请参阅我在此上的问题)。我试着按照这个案例研究来创建一个自定义的UDF 。然
浏览 1提问于2015-10-13得票数 0
2回答
SELECT REGEXP_SUBSTR('BOND~CRR~CD~DAKAR_2299913320','[^~]+',1,3) FROM DUAL 根据该查询，结果应该如下所示: CD 现在，我的问题是如何在hive中实现该查询，因为据我所知，hive没有REGEXP_SUBSTR语法，到目前为止我已经尝试过的是： select regexp_extract('BOND~CRR~CD~DAKAR_2299913320regexp_extract('BOND~CRR~CD~DAKA
浏览 151提问于2020-09-24得票数 0
回答已采纳
我使用Kryo编码器将GenericRecords编码成一个火花DataFrame，并将数据写入一个Avro文件。一旦我试图从Hive读取该文件，就会发现一个错误，即解析器找到toplevelrecord而不是预期的字段。此记录不在我现有的模式中，我认为它是在我使用spark编写时创建的。我想知道是否/如何从avro文件中删除它。
浏览 0提问于2018-07-10得票数 2
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
