Flink需要hive conf目录的本地路径，但如果我们在yarn上提交flink作业，如何提供该路径？
在使用Flink提交作业到YARN上时，需要提供hive conf目录的本地路径。可以通过以下两种方式来实现：
- 将hive conf目录打包到Flink作业的jar包中：在构建Flink作业的jar包时，将hive conf目录下的文件打包到jar包中，并在代码中使用相对路径加载hive配置文件。这样，当作业在YARN上运行时，会将hive conf目录解压到作业运行的工作目录下，从而可以通过相对路径访问hive配置文件。
- 通过设置环境变量HADOOP_CONF_DIR来指定hive conf目录的路径：在提交Flink作业到YARN时，可以通过在启动脚本或命令行参数中设置HADOOP_CONF_DIR环境变量来指定hive conf目录的路径。例如，在使用flink run命令提交作业时，可以使用"-m yarn-cluster -yD hadoop.conf.dir=/path/to/hive/conf"参数来设置HADOOP_CONF_DIR环境变量。
无论使用哪种方式，确保在YARN集群中的每个节点上都存在hive conf目录，并具有相同的路径。这样，Flink作业在YARN上运行时才能正确访问到hive配置文件。
推荐的腾讯云产品和产品介绍链接地址：
- 腾讯云容器服务 TKE：https://cloud.tencent.com/product/tke
- 腾讯云弹性MapReduce EMR：https://cloud.tencent.com/product/emr
- 腾讯云云原生应用引擎 SCF：https://cloud.tencent.com/product/scf
- 腾讯云云数据库 CDB：https://cloud.tencent.com/product/cdb
相关·内容
根据此链接，https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/hive/#connecting-to-hive需要本地配置单元配置文件夹路径，但我需要在yarn提交Flink作业，因此Flink尝
浏览 26提问于2020-07-19得票数 0
回答已采纳
我使用Yarn来运行Flink作业。对于每个Flink作业，我都要创建一个检查点。
我提交一个在我的Yarn集群中运行的Flink作业。我有一个轮询作业，它检查一个作业是否在Yarn上失败并重新启动它。当作业再次提交时，Yarn为该
浏览 0提问于2018-05-22得票数 0
回答已采纳
我有以下代码来测试flink和hive集成。我通过flink run -m yarn-cluster ....提交申请。hiveConfDir是一个本地目录，驻留在我提交应用程序的机器上，我想问一下，当主类在集群中运行时，flink如何能够读取这个本地目录？谢谢!package org.example.app
import o
浏览 48提问于2021-01-05得票数 0
如何在开始作业时传递其他java属性？我试图通过：-yD env.java.opts="-Dconfig.file='config/jobs/twitter-analysis.conf'"参数传递它，但它不被接受：flink com.github.geoheil.streamingreference.tweets.TweetsAnalysis'”
也就是说，我试图使用的方法
浏览 6提问于2020-06-24得票数 0
回答已采纳
1回答
我正在尝试从python SDK运行一个基本的字数束管道，并在AWS EMR上使用flink yarn会话。我同时使用了flink runner和便携runner，得到了下面列出的两个不同的错误。这两种类型的运行器的作业都会显示在flink UI中，并在我的笔记本电脑上使用本地flink会话成功运行。BeamA
浏览 17提问于2020-06-18得票数 2
回答已采纳
我无法在Amazons中启动Apache的纱线会话。我得到的错误信息是$ cd flink-0.9.0...Diagnostics: File file:/home/hadoop/.flink/application_143946679
浏览 4提问于2015-08-13得票数 8
回答已采纳
我有一个flink作业，它使用logback作为日志框架，因为需要将日志发送到logstash，而logback有一个logstash (Logstash appender )。当flink作业从Eclipse这样的IDE运行时，我可以在logstash中看到应用程序日志。日志配置文件logback.xml放在src/main/resources中，并包含在类路径中。即使在IDE之外的命令行运行<
浏览 1提问于2018-11-29得票数 3
回答已采纳
2回答
我使用Ambari在4个节点上安装了Apache。我为Apache写了一份简单的工作。我想把这份工作提交给我的纱线组。但是Flink需要本地机器上的纱线配置文件(core-site.xml、yar-site.xml等)。所以如果我没有错的话，有两种曼纽尔的方法
在ResourceManager节点上启动flink作业
浏览 0提问于2016-08-14得票数 0
回答已采纳
我试图在Flink中引用我的公司jar，将其复制到所有任务管理器中的$FLINK/lib，但都失败了。我也不想装一个太重太浪费时间的胖罐子。有人知道如何解决这个问题吗？如有任何建议，将不胜感激。
浏览 3提问于2015-08-03得票数 11
回答已采纳
1回答
我正在研究Flink 1.9.1的停靠/K8部署的可能性。目前，我们确实认为我们将尝试采用工作集群的方法，尽管我们想知道这个社区的趋势是什么？我们不希望每个Flink集群部署一个以上的作业。
如何更改职务和会话群集每个任务管理器的任务槽数？在我的</e
浏览 1提问于2020-01-10得票数 2
回答已采纳
我正在跟踪Flink 。打开Flink SQL客户端看起来很好，但是SELECT 'hello world'不能工作。$ /data/apache/flink/flink-1.12.0/bin/sql-client.sh embedded
SLF4J: Class path contains multiple SLF4JSLF4J: Found binding in [jar:file:/data/apache/<
浏览 14提问于2021-03-26得票数 1
回答已采纳
我有多个flink作业在独立群集上运行。我想为不同的flink作业不同的日志文件。那么如何在提交flink作业时传递不同log4j.properties文件呢？
浏览 1提问于2016-07-08得票数 3
我试图在纱线集群上运行示例代码(flink_examples_WordCount.jar)，但得到了下面的安全身份验证错误。我可以在同一个cloudera集群中运行spark或映射减少作业，而不会出现任何问题。我确实更新了flink- CONF文件路径中的hdfs-site.xml和core-site.xml (在主节点和工作节点中更新相同)，并导出了HADOOP_CONF_DIR
浏览 5提问于2015-08-19得票数 1
在我们的项目中，我们有用于本地运行的flink-conf.yaml。我们希望能够在本地运行flink进行测试。我们团队的一部分使用Mac，另一部分使用PC。我们希望将state.checkpoint.dir设置为一些普遍可接受的路径，最好是在用户的主目录下。
浏览 56提问于2021-03-26得票数 0
我有多个Kafka主题(多租户)，并且我根据主题的数量多次运行相同的作业，每个作业消耗来自一个主题的消息。我已经将文件系统配置为状态后端。 假设有3个作业在运行。检查点在这里是如何工作的？这3个作业是否都将检查点信息存储在同一路径中？如果任何作业失败，该作业如何知道从何处恢复检查点信息？我们过
浏览 33提问于2020-07-16得票数 0
回答已采纳
我是Flink的新手，计划在EKS上部署Flink会话集群，其中包含1个作业管理器和5个任务管理器(每个任务管理器有4个槽)。不同的作业将通过UI提交给不同的应用程序。指向本地文件路径，该作业总共使用了8个槽，它分布在两个任务管理器上，运行良好，一天内没有任何问题。因此，所有的状态信息都存储在checkpointDataUri中
浏览 1提问于2020-05-17得票数 1
回答已采纳
我有一个用Flink (Scala)编写的示例流式WordCount示例。在它中，我想使用外部化的检查点在失败的情况下进行恢复。但它并没有像预期的那样工作。我的代码如下： object WordCount { // set up the execution environmentkafkaConsumerProperties.setProperty("zookeep
浏览 25提问于2019-04-15得票数 1
回答已采纳
在主节点上，我使用以下命令在纱线集群中启动Flink会话：这是每个TaskManager的最大内存和插槽，让我根据所选的实例类型设置它另外，当查看纱线节点管理器时，我发现在其中一个核心节点上只有一个容器在运行。纱线资源管理器显示，该应用程序仅使用50%的群集。使用当前的设置，我假设我可以运
浏览 0提问于2019-07-08得票数 0
回答已采纳
我试图在Hadoop2.6下运行以下Spark示例，但我得到了以下错误：./bin/spark-submit --class org.apache.spark.examples.SparkPi \--num-executors\
--execu
浏览 10提问于2015-12-06得票数 9
1回答
我正在尝试构建一个apache作业，它必须通过HDFS访问文件。它在本地运行良好，但当我将作业提交给flink集群时，会得到以下错误：
Hadoop is not in the classpath/dependencies.我正在使用Maven阴影插件来构建我的job.jar。Flink集群没有Hadoop jars，所以我必须将它们全部添加到作业本身。在本地，我必须在IDE设置中添加选项
浏览 1提问于2022-01-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
