我正在尝试创建一个dataframe并将结果写成avro格式。这给出了主题中提到的IllegalArgumentException异常。如果我将它保存为文本文件，但在写入avro时失败，则它可以正常工作。使用spark的java api。使用spark-submit。注意:使用scala或spark-shell时不会出现此错误。DataFrame test = sqlContext.createDataFrame(foo,bar.class);
test.write()
浏览 17提问于2018-01-02得票数 0
在Spark Java (local)中运行以下代码时，我得到错误： at Datahub.main(Datahub.java:64)读取csv并将其保
浏览 0提问于2017-08-28得票数 1
1回答
我正在尝试在运行2.4.4的scala项目中添加增量核心。
User类抛出异常: org.apache.spark.sql.AnalysisException:未能找到数据源Avro是内置的，但外部数据源模块，从Spark</em
浏览 1提问于2020-08-17得票数 1
4回答
使用反射的动态对象创建和赋值
、、、、
现在，为了用methodname.invoke()函数调用方法，我需要加载类的对象。因此，我希望创建已加载类的对象。我试着这样做：但问题在于，这样我就没有加载类的对象，而是得到对象类的对象。现在，如果我想调用已加载类的函数，我会这样做：它抛出一个异常：
浏览 8提问于2013-02-27得票数 1
我可以看到，shell在创建DataFrame对象时识别模式，但是如果我对数据执行任何操作，它总是在尝试实例化NoClassDefFoundError时抛出AvroWrapper。我尝试将avro-mapred-1.8.0.jar添加到集群的$HDFS_USER/lib目录中，甚至在启动shell时使用-jar选项将其包括在内。这两个选项都不起作用。如有任何建议，将不胜感激。下面是示例代码：scala> im
浏览 1提问于2016-06-10得票数 1
回答已采纳
3回答
我在Spark，我有一个来自Avro文件的RDD。我现在想对该RDD进行一些转换，并将其保存为Avro文件：AvroJob.setOutputKeySchema(job,org.apache.hadoop.io.NullWritable], job.getConfiguration)
在运行此Spark时，Spark<
浏览 1提问于2013-12-16得票数 17
我已经查找了关于堆栈溢出的其他相关问题，但没有一个问题能够解决我的场景。public class Client implements java.io.Serializable {
private Object _clientId;
pri
浏览 3提问于2019-02-09得票数 8
我的spark应用程序无法在AWS EMR集群上运行。我注意到这是因为有些类是从EMR设置的路径加载的，而不是从应用程序jar加载的。<init>(Ljava/lang/String;Lorg/apache/avro/Schema;Ljava/lang/String;Ljava/lang/Object;)V
at co
浏览 3提问于2017-05-12得票数 1
回答已采纳
我有一个spark 2.0应用程序，它使用spark streaming从kafka读取消息(使用spark-streaming-kafka-0-10_2.11)。在常规的流中，我对createDstrean使用kafkaUtils，并且在我传递的参数中，它是值反序列化器。我看过像这个这样的例子，但是我在Kafka中的Avro对象非常复杂，不能像例子中的字符串那样简单地强制转换。到目前为止，我尝试了这种代码(我在这里的</em
浏览 3提问于2016-11-20得票数 9
在Kafka模式注册表中，其中一个数据源的模式如下所示： "type": "record", "namespace": "io.confluent.connect.avro当我尝试这些AVRO文件时，它会抛出：
由：引起的: org.apache.spark.sql.AnalysisExcept
浏览 4提问于2019-10-23得票数 0
2回答
System.out.println(new String(json)); e.printStackTrace();该代码显示了预期的输出问题是我无法看到合并的模式。如果我做了一个简单的System.out.println(mergedSchema)，就会得到以下异常：
Exception in thread "main" org.apache.avro.SchemaParseException看起来avr
浏览 2提问于2016-04-10得票数 10
我有两个不同的类，一个是用下面的验证方法。InvocationTargetException e) { } }
上面的代码抛出java.lang.IllegalArgumentException: object不是声明类的实例。e.printStackTr
浏览 4提问于2013-12-09得票数 0
回答已采纳
2回答
SBT无法导入Kafka编解码类
、、、、
发行：
object serializer is not a member of package org.apache.spark.streaming.kafka [error]
import= &
浏览 4提问于2016-04-04得票数 7
回答已采纳
我正在对抛出SparkSession的Object is not an instance of declaring class执行查询，下面是下面的代码SparkSession.builder().appName("<em
浏览 2提问于2017-03-27得票数 0
回答已采纳
1回答
无法调用EJB中的方法
、、、
我正在为我目前正在经历的一个错误而疯狂。14:45:08,492错误BusinessControllerInterceptor对象不是声明类ERRID: 0845 AOP配置的实例:尝试调用目标searchTarget上的公共抽象at.package.Listat.package.Search.search(at.package.Employee)方法；嵌套异常是java.lang.IllegalArgumentException: objec
浏览 1提问于2010-06-22得票数 0
回答已采纳
我得到来自卡夫卡主题与Avro (序列化和反序列化)的推特。然后，我创建了一个火花使用者，它在RDDGenericRecord的Dstream中提取tweet。请给我把RDDGenericRecord转换成数据的解决方案？
浏览 14提问于2017-11-13得票数 2
回答已采纳
username: 'trade@mail.com', email: 'trade@mail.com', firstName: "trade", lastName: "trade").save()
java.lang.IllegalArgumentException: <e
浏览 15提问于2017-01-10得票数 1
回答已采纳
我得到了例外: java.lang.IllegalArgumentException: object不是声明类的实例 Class<?getter: " + method);
浏览 0提问于2015-10-08得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号