我正在尝试在AWS EMR上运行Hudi deltastreamer。按照此博客中的步骤操作。https://cwiki.apache.org/confluence/pages/viewrecentblogposts.action?key=HUDI 但是当我运行下面的spark提交时,错误出现了: Exception in thread "main" org.apache.hudi.com.beust.jcommander.ParameterException: Was passed main parameter '--table-type' but no
我们无法解决以下问题:我们试图使用Apache将数据保存到存储区。问题是当我们上传一个包含依赖项中的org.json包的胖jar时,df.save()应用程序正在失败。
java.lang.NoClassDefFoundError: org/json/JSONException
at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeCreateTable(SemanticAnalyzer.java:10847)
at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.
我有一个从迁移中创建的Hudi表,所以它有数十亿行。迁移时没有问题,但当我开始流式传输以开始向该表写入新数据时,发生了以下错误: ? ERROR - error producing records (org.apache.hudi.common.util.queue.BoundedInMemoryExecutor.lambda$null$0(BoundedInMemoryExecutor.java:94)):94
org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in
我必须建立一个胶水作业来更新和删除雅典娜表中的旧行。当我运行我的删除作业时,返回一个错误: AnalysisException: 'Unable to infer schema for Parquet. It must be specified manually.;' 我的胶水作业: datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "test-database", table_name = "test_table", transformation_ct
我有一个异常,当更新记录与火花sql为hudi如下。
update hudi.cow1 set price=1300 where id=2;
22/10/17 19:24:44 ERROR Executor: Exception in task 0.0 in stage 206.0 (TID 2442)
org.apache.avro.AvroRuntimeException: Not a valid schema field:
at org.apache.avro.generic.GenericData$Record.get(GenericData.java:256)
at
我目前正在deltalake上做一个POC,在那里我偶然发现了一个叫做Apache Hudi的框架。下面是我尝试使用apache spark框架编写的数据。 private val INITIAL_ALBUM_DATA = Seq(
Album(800,810, "6 String Theory", Array("Lay it down", "Am I Wrong", "68"), dateToLong("2019-12-01")),
Album(801,811, "Hail to the Thief&