我正在尝试在AWS EMR上运行Hudi deltastreamer。按照此博客中的步骤操作。key=HUDI 但是当我运行下面的spark提交时，错误出现了： Exception in thread "main" org.apache.hudi.com.beust.jcommander.ParameterException_2.11:2.4.4 \
--master yarn --deploy-mode client /usr/lib/hudi/hu
浏览 114提问于2020-01-31得票数 2
我是Apache的新手，请告诉我apache中是否提供了用于在mysql数据库上编写数据的配置。
浏览 9提问于2022-08-02得票数 0
1回答
我的项目结构如下：utilsproject主文件将在stage.py中创建类的实例，该实例将创建hudi类的实例。hudi.py的代码是 def __init__(self, spark):在阅读答案时，我尝试了以下代码：
class <em
浏览 5提问于2022-04-04得票数 0
1回答
这个配置中的错误是什么， 分区键在HUDI中不起作用，并且在执行upsert时，hudi数据集中的所有记录都会更新。所以不能从表中提取增量。: 'hudi_db','hoodie.datasource.hive_sync.enable': 'true',
'path': 's3:/
浏览 50提问于2021-08-29得票数 1
1回答
org.apache.spark.sql.hudi.HoodieSparkSessionExtension._jvm.org.apache.hudi.QuickstartUtils.DataGenerator()我使用了错误的.jar.在创建表和hudi.options之后：
22/12/01 22:26:04 WARN org.apache.hudi.common.config.DFSPropertiesConfiguration:Cannot find HUDI_CON
浏览 30提问于2022-12-01得票数 2
回答已采纳
我每小时都使用spark hudi进行增量查询，每次都将增量查询的开始和结束时间保存在db(例如mysql)中。增量查询应该如下所示： 'hoodie.datasource.query.type': 'incremental',': hudi_end_commit但我不知道如何在pyspark(python)中找到hudi_end_commit。spark_session.read.forma
浏览 7提问于2022-05-16得票数 1
如何通过Hudi更改表版本？
at org.apache.hudi.common.table.HoodieTableVersion.lambda(HoodieTable
浏览 32提问于2022-03-02得票数 0
我正在尝试从hudi读取数据，但得到的数据低于错误。Caused by: java.lang.ClassNotFoundException: Failed to find data source: hudi.Please find packages at http://spark.apache.org/third-party-projects.html
我可以使用下面的命令使用jupyter笔记本从Hudival hudiIncQueryDF = spark.read.format("hudi
浏览 20提问于2022-06-13得票数 4
我有以下的项目结构||----hudi.py|--tests|----__init__.pyclass Partitions: self.bucket = bucket(cls) -> None:
cls.hudi_partitions = hudi</e
浏览 8提问于2022-04-23得票数 0
我使用AWS Glue和Apache Hudi将RDS中的数据复制到S3。如果我执行以下任务，将在S3存储桶(basePath)中生成2个拼图文件(初始文件和更新文件)。_jvm.org.apache.hudi.QuickstartUtils.DataGenerator()basePath = f's3://{bucketName}/{tableName}'
hudi
浏览 27提问于2021-11-30得票数 0
spark-submit --packages org.apache.hudi:hudi-utilities-bundle_2.11:0.5.3,org.apache.spark:spark-avro_conf spark.sql.shuffle.partitions=100 \ --class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer\
--table-type MERGE_ON
浏览 29提问于2021-10-07得票数 0
我刚开始使用hudi，并试图使用spark在Hudi表中编写我的数据。第一次输入，我没有创建任何表，也没有在覆盖模式下写入，所以我希望它会创建hudi表，我正在编写下面的代码。spark-shell \
--packages org.apache.hudi:hudi-spark-bundle_2.12:0.7.0,org.apache.spark:spark-avro'spark.serializer=org.apache.spark.serializer.KryoSerializer&
浏览 1提问于2021-03-19得票数 2
回答已采纳
我在Apache Spark上运行Apache Hudi应用程序。. at org.apache.hudi.hive.HiveSyncToo
浏览 87提问于2021-02-16得票数 1
回答已采纳
我正在努力理解如何正确地将红移光谱与Hudi数据连接起来。redshift/latest/dg/c-spectrum-external-tables.html所描述的那样，直接为ApacheHudi中管理的数据创建RedShift外部表，另一种方法是像这里提到的那样，将Hudi与AWS Glue Data Catalog集成，然后通过AWS Glue Data Catalog访问具有RedShift谱的Hudi表。看来我可以直接从EMR或AWS Glue数据目录使用Hudi。 现在，我不知道该
浏览 50提问于2021-09-12得票数 1
回答已采纳
1回答
版本Apache Hudi 0.6.1，Spark 2.4.6 下面是Hudi deltastreamer的标准spark-submit命令，因为没有定义主参数，所以抛出了这个命令。[hadoop@ip-00-00-00-00 target]$ spark-submit --class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer'ls /mnt/hudi/packaging/hudi</
浏览 113提问于2020-09-08得票数 0
1回答
从卡夫卡到哈迪的电火花流
、、、、
我刚开始使用hudi我有个问题。我正在使用一个在AWS中使用pyspark，Kafka的EMR，我想要做的是阅读一个主题，然后将它移到hudi格式的S3中。\ .option("subscribe", topic) \…… .writeStream \
.outputMode('append')
浏览 15提问于2022-09-28得票数 2
回答已采纳
(HoodieHiveClient.java:384) at org.apache.hudi.hive.HoodieHiveClient.createTable(HoodieHiveClient.java:262) at
浏览 2提问于2020-11-03得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号