key=HUDI 但是当我运行下面的spark提交时，错误出现了： Exception in thread "main" org.apache.hudi.com.beust.jcommander.ParameterException:752)
at org.apache.hudi.com.beust.jcommander.JCommander.parse(JCommander.java:340)at org.apache.hudi</
浏览 114提问于2020-01-31得票数 2
1回答
我正在尝试从hudi读取数据，但得到的数据低于错误。Caused by: java.lang.ClassNotFoundException: Failed to find data source: hudi.Please find packages at http://spark.apache.org/third-party-projects.html
import org.apache</em
浏览 20提问于2022-06-13得票数 4
1回答
' --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension'警告org.apache.spark.sql.hudi.HoodieSparkSessionExtensionorg.apache.spark.sql.hudi.HoodieSparkSessionExtension._jvm.org.apache.hu
浏览 30提问于2022-12-01得票数 2
回答已采纳
如何通过Hudi更改表版本？
at org.apache.hudi.common.table.HoodieTableVersion.
浏览 32提问于2022-03-02得票数 0
我在Apache Spark上运行Apache Hudi应用程序。. at org.<
浏览 87提问于2021-02-16得票数 1
回答已采纳
(Driver.java:1049) at org.apache.hudi.hive.HoodieHiveClient.updateHiveSQLUsingHiveDriver(HoodieHiveClient.java:367)
at org.apache.hudi.hive.HoodieHiveC
浏览 2提问于2020-11-03得票数 0
回答已采纳
spark-submit --packages org.apache.hudi:hudi-utilities-bundle_2.11:0.5.3,org.apache.spark:spark-avro_cluster \ --driver-class-path $HADOOP_CONF_DIR \
--class org.apache.hudi.utilities.deltastreamer.Hoo
浏览 29提问于2021-10-07得票数 0
我每小时都使用spark hudi进行增量查询，每次都将增量查询的开始和结束时间保存在db(例如mysql)中。增量查询应该如下所示： 'hoodie.datasource.query.type': 'incremental',': hudi_end_commit但我不知道如何在pyspark(python)中找到hudi_end_commit。spark_session.read.forma
浏览 7提问于2022-05-16得票数 1
1回答
这个配置中的错误是什么， 分区键在HUDI中不起作用，并且在执行upsert时，hudi数据集中的所有记录都会更新。所以不能从表中提取增量。commonConfig = {'className' : 'org.apache.hudi','hoodie.datasource.write.precombine.fieldhoodie.data
浏览 50提问于2021-08-29得票数 1
spark-shell \ import org.apache.spark.sql.SaveModeimport org.apache.sp
浏览 1提问于2021-03-19得票数 2
回答已采纳
1回答
版本Apache Hudi 0.6.1，Spark 2.4.6 下面是Hudi deltastreamer的标准spark-submit命令，因为没有定义主参数，所以抛出了这个命令。[hadoop@ip-00-00-00-00 target]$ spark-submit --class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer:752)
at org.apache.hudi
浏览 113提问于2020-09-08得票数 0
我使用AWS Glue和Apache Hudi将RDS中的数据复制到S3。如果我执行以下任务，将在S3存储桶(basePath)中生成2个拼图文件(初始文件和更新文件)。_jvm.org.apache.hudi.QuickstartUtils.DataGenerator()df = spark
浏览 27提问于2021-11-30得票数 0
我有一个异常，当更新记录与火花sql为hudi如下。:503) at org.apache.hudi.avro.HoodieAvroUtils.getNestedFieldVal(HoodieAvroUtils.java:503)
at org.apache.hudi.HoodieSparkSqlWriter: hudi -scamk3.2-b
浏览 10提问于2022-10-17得票数 0
1回答
如何在火花放电中导入hudi模块？%spark.pyspark import org.apache.hudi.DataSourceReadOptionsimport org.apache.hudi.config.HoodieWriteConfig
错误: ModuleNotFoundError:没有名为'org‘的模块
浏览 3提问于2021-10-12得票数 1
("org.apache.hudi")java.lang.NoSuchMethodError: org.apache.spark.sql.types.Decimal$.minBytesForPrecision()[I at org.
浏览 54提问于2021-02-22得票数 0
1回答
spark-shell \ at org.apache.hudi.spark.org.apache</e
浏览 0提问于2020-12-27得票数 0
回答已采纳
有人在Pyspark环境中使用过Apache Hudi吗？如果可能的话，有没有可用的代码样本？
浏览 2提问于2020-03-30得票数 0
我们开始使用Apache Hudi，我们可以在de AWS documentation之后让它工作。问题是，当使用文档中指出的配置和JAR时，我们无法在Glue元存储上运行spark.sql。我们使用boto3创建群集 emr.run_job_flow( LogUri='s3n://mybucket/elasticmapreduce" \
--conf "spark.sql.hive.convertM
浏览 101提问于2021-04-10得票数 0
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
腾讯云开发者
