flink的检查点路径和hdfs://address:port/path一样是hdfs的绝对路径，但是hdfs在HA模式下，如何设置hdfs namenode url变化的flink配置？
浏览 30提问于2019-01-07得票数 1
回答已采纳
当我在cloudera分发中给出命令hdfs时，我想在hadoop中找到保存的命名空间(即，保存的元数据)的位置。
有人能帮我在cloudera中找到保存的命名空间文件路径吗？
浏览 1提问于2017-05-07得票数 1
朋友们，我知道在hadoop2中，当我们配置高可用性时，不需要配置一个hadoop2。使用一种新的机制，通过在活动和待机之间共享编辑来提供可用性。我的问题是，次要名称节点功能是定期将编辑文件与fsimage文件合并，从而在hadoop1世界中提供了两个好处: 1)限制编辑文件的大小；2)保持最新的fsimage，从而缩短重新启动的时间。
浏览 2提问于2015-12-10得票数 1
回答已采纳
我知道我既可以在flink的配置文件(flink-conf.yaml)中全局设置状态后端，也可以在每个作业的作用域中设置。env = StreamExecutionEnvironment.getExecutionEnvironment()
env.setStateBackend(new FsStateBackend("hdfs://namenode:40010/flink/checkpoints&quo
浏览 18提问于2020-09-07得票数 0
回答已采纳
2回答
我希望将flink store存储在HDFS中，以便在崩溃后可以从HDFS恢复flink状态。我计划每隔60秒将状态写入HDFS。我如何才能做到这一点？这是我需要遵循的配置吗？https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/state_backends.html#s
浏览 129提问于2021-11-01得票数 0
回答已采纳
我正在使用Apache 1.10.0从RabbitMQ中提取数据流，现在在内存中使用默认的检查点配置。现在，当任务管理器重新启动时，我需要将状态和检查点存储在文件系统中，所有演示都应该使用“HDFS ://namenode:4000/.”，但是现在我没有HDFS集群，我的Apache Flink运行在kubernetes集群中，如何在文件系统中存储我的检查点？这些源<e
浏览 5提问于2020-04-09得票数 0
回答已采纳
先决条件案例与问题
hadoop集群的一个节点由于磁盘错误而失败。复制是，不够高，数据丢失。简单地说，flow已经找不到一个预先配置为工作流资源的文件了。在执行期间，主namenode失
浏览 2提问于2014-07-15得票数 8
回答已采纳
我在NameNode中有20005个编辑日志文件，这对我来说是一个很大的数字，有没有方法可以将它们合并到fsimage中？我已经重新启动了NameNode，它没有帮助。
浏览 0提问于2016-10-11得票数 1
我有一个Flink v1.2，3 JobManagers，2 TaskManagers的设置。我想使用hdfs作为后端状态、检查点和动物园管理员storageDir。state.backend:文件系统state.checkpoints.dir: hdfs:/ip:端口/外部检查点
高可
浏览 1提问于2017-03-22得票数 5
回答已采纳
我有一个非HA支持的HDFS集群，我想将它重新配置为HA。我遵循了以下步骤：
启动日志节点。在新的namenode N2上运行N2。注意，我必须首先启动旧的namenode N1才能工作。在主名节点hdfs
浏览 0提问于2018-03-06得票数 0
回答已采纳
我们一直在运行一个生产等级系统，我们希望在AWS EMR中自动启动二级namenode。下面是jps的输出，其中没有运行辅助namenode守护进程6241 Bootstrap107548943 LivyServer5908 Bootstrap10619 StatePusher二级Namenode需要做namenode<em
浏览 1提问于2018-09-04得票数 2
回答已采纳
当NameNode启动时，它从图像文件fsimage读取HDFS状态，然后从编辑日志文件中应用编辑。然后将新的HDFS状态写入fsimage，并使用空编辑文件启动正常操作。由于NameNode只在启动时合并fsimage和编辑文件，所以在繁忙的集群上编辑日志文件可能会随着时间的推移变得非常大。较大编辑文件的另一个副作用是下一次重新启动NameNode所需时间更长。
但是，在理解二级namenode</
浏览 3提问于2015-08-17得票数 9
回答已采纳
现在，我有了一些存储输出到HDFS的Spark应用程序。由于我们的hadoop集群是由namenode H/A组成的，而spark集群位于hadoop集群之外(我知道这很糟糕)，所以我需要为应用程序指定HDFS URI，以便它能够访问HDFS。但是它不识别名称服务，所以我只能提供namenode的URI之一，如果它失败了，请修改配置文件，然后再试一次。你
浏览 3提问于2015-06-12得票数 10
回答已采纳
我对HDFS的高可用性和名称节点感到困惑，这两件事是一样的还是不同的？
浏览 23提问于2020-03-17得票数 0
1回答
我们在namenode的高可靠性中使用的另一个namenode是什么?在hadoop联邦中使用的其他名称是什么？
浏览 2提问于2014-05-30得票数 3
回答已采纳
2回答
无法将HDFS从非HA转换为HA
、、、、
Introduction/etc/hadoop/conf/hdfs-site.xml <name>dfs.ha.automatic-failover.enabledstart
sudo service hadoop-hdfs-zkfc star
浏览 0提问于2014-06-10得票数 2
回答已采纳
1回答
Visit https://s.apache.org/sbnn-error at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(Na
浏览 14提问于2021-12-23得票数 0
回答已采纳
当使用HighAvailability在Hadoop集群上运行submit命令时，我将面临异常。同一命令在启用HA的群集上不工作，并引发以下异常。Exception in thread "main
浏览 21提问于2016-07-08得票数 1
我使用Yarn来运行Flink作业。对于每个Flink作业，我都要创建一个检查点。
我提交一个在我的Yarn集群中运行的Flink作业。我有一个轮询作业，它检查一个作业是否在Yarn上失败并重新启动它。当作业再次提交时，Yarn为该Flink作业创建一个新的application_id。如何配置重新提交的Flink作业以使用重新启动的Flink作
浏览 0提问于2018-05-22得票数 0
回答已采纳
1回答
我正在尝试配置hadoop namenode HA和resourcemanager HA。(BootstrapStandby.java:236) at org.apache.hadoop.hdfs.server.na
浏览 1提问于2014-11-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
