腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flink
Job
子
任务
需要
几分钟
才能
启动
,
而
源代码
可以
立即
启动
因此,我最近将
flink
作业的并行度从10提高到了50。目前的设置是25个
任务
管理器,每个
任务
管理器有2个
任务
槽,每个
任务
槽有2个cpu。具有5个cpus的作业管理器。但是,由于某些原因,当作业开始时,它能够
立即
启动
两个源的所有
子
任务
,但作业的其余部分
需要
一分钟或更长时间
才能
启动
所有其他操作员的
子
任务
。 ? 我知道这不应该发生,但我不确定<em
浏览 82
提问于2021-08-16
得票数 0
回答已采纳
1
回答
flink
-无法
启动
作业群集
、
我正在尝试
启动
flink
作业集群。我将HA配置为zookeeper,并将
job
.jar放在类路径中。我期望作业管理器从一个等待taskmanager
启动
的作业开始。但是当我通过./
flink
/bin/standalone-
job
.sh start-foreground
启动
作业管理器时,作业管理器
立即
开始执行作业,
而
没有任何
任务
管理器在运行。Please refresh." ]
浏览 192
提问于2019-09-05
得票数 0
回答已采纳
1
回答
在apache
flink
上运行apache波束
、
apache站点在Apache上
启动
Python代码的命令如下: 我希望这个代码在没有Docker的情况下运行。这段代码是如何被命令的?
浏览 6
提问于2020-03-01
得票数 0
2
回答
UWP_Can不使用StartupTask类
启动
应用程序吗?
、
、
、
、
我遵循本文
启动
我的UWP应用程序时,系统重新
启动
。 我也尝试过这篇文章,在这个示例中使用了精确的
源代码
。以下是现象: 当我点击
任务
栏上的应用图标时,应用程序只显示
浏览 0
提问于2018-03-28
得票数 2
回答已采纳
1
回答
在K8S上为更新策略执行rollingUpdate时,
Flink
的恢复机制是什么?
、
我想知道在k8s上滚动更新重新
启动
作业时,
Flink
中的检查点或保存点的恢复过程。 下面让我解释一下简单的例子。因为我不想丢失数据,所以我在
Flink
中将数据流设置为at least或exactly at once模式。然后,当滚动更新发生时,每个吊舱都会按顺序重新
启动
。当根据滚动更新重新
启动
pod1 (过滤器)时,是否
立即
将源
任务
(其他
任务
)中的记录保存到外部位置进行检查点检查?因此,即使在重新
启动
之后,它也
可以
完
浏览 3
提问于2022-10-13
得票数 0
回答已采纳
2
回答
flink
-添加仪器
、
、
我想将NewRelic工具添加到
flink
作业中。我看不出在哪里
可以
向bin/
flink
run <
job
>命令传递额外的类路径/其他参数。编辑:env.java.opts: "-javaagent:/opt/newrelic/newrelic.jar-Dnewrelic.config.file=/opt/newrel
浏览 1
提问于2015-11-22
得票数 7
1
回答
重新
启动
后,
Flink
任务
管理器不处理数据。
、
、
我添加了重新
启动
策略和检查指向,如下所示,我没有显式地使用代码中的任何状态,因为不
需要
它。taskmanager.memory.jvm-overhead.max: 1gb但我有两个问题 如果任何
任务
管理器由于任何故障
而
重新
启动
,则
任务
管理器将成功地重新
启动
并在作业管理器中注册,但在重新
启动
任务
管理器后,它将处于空闲状态。这是正常的
浏览 4
提问于2020-12-04
得票数 0
2
回答
Apache能够平均分配时隙共享组吗?
、
例如,我们的Source -> Transform并行度为50,
而
Sink并行度为78。我们有8个TMs,每个核都有16个核(因此也有槽)。我只找到了配置参数,但我不确定它是否实际上均匀地分配了时隙共享组,
而
不仅仅是时隙--例如,我得到了TMs,同时我期望有6个或7个Source -> Transform
任务
。那么,问题是是否
可以
告诉
Flink
在集群内平均分配时隙共享组?或者还有其他的可能吗? 似乎有点类似于我的问题,但我主要问的是插槽共享组的分布。本主题还仅包含使用的建议,但此后可能发生了一
浏览 17
提问于2020-10-30
得票数 0
回答已采纳
2
回答
Hadoop在单节点群集上运行排序示例
、
、
、
首先,我
启动
了守护进程:然后,我运行随机写入器示例,以生成顺序文件作为输入文件。
Job
started: Thu Mar 31 18:21:51 EEST 2011
浏览 0
提问于2011-04-05
得票数 1
回答已采纳
1
回答
Flink
批量连续运行
、
我有
flink
批处理工作。持续运行的最佳方式是什么?(它
需要
在完成后重新
启动
,因为流式作业
可以
提供新的数据) 无限循环和内部调用
任务
?
浏览 1
提问于2016-10-12
得票数 1
1
回答
Windows 2008
任务
计划程序返回代码和Matlab脚本
、
、
我目前有一个运行"matlab -r myscript“的
任务
。问题是
任务
计划程序总是在
启动
后
立即
成功,即使myscript
需要
几分钟
才能
运行。所以,我不知道如何传回错误代码。
浏览 4
提问于2012-02-04
得票数 3
回答已采纳
1
回答
flink
检查点时间与缓冲区对齐大小或对齐时间有何关系?
、
、
下面是我的疑虑: 1)即使与其他检查点状态相比,较少的检查点状态大小更小(减少70-80%),也
需要
几分钟
(15-20%的时间),而其他检查点状态
需要
5-10秒。4)进入hdfs的
子
任务
很少
需要
2-3分钟(5-10%的时间)。因此,虽然98%的
子
任务
在30-50秒内完成。1-2(95%的时间,只有一个)
子
任务
需要
2-3分钟。这会延迟整个检查点时间。问题不在于正在运行此
子
任务
浏览 1
提问于2020-03-12
得票数 0
1
回答
Apache
flink
:从RocksDB后端的存储点延迟加载
、
、
我们希望使用带有RocksDB后端(HDFS)的Apache
Flink
来进行有状态流处理。但是,我们的应用程序状态(键控状态)将是of级的。据我所知,当我们从保存点恢复作业时,所有操作员状态数据都将从HDFS上的保存点位置发送到每个
任务
管理器。如果状态是to级的,那么如果所有这些状态都
需要
传输,那么每次部署都将导致非常长的停机时间。我想知道,在RocksDB的情况下,是否
可以
配置延迟加载,其中键控状态在
需要
时从HDFS中检索,然后缓存到本地磁盘上。 谢谢!
浏览 29
提问于2020-04-23
得票数 0
1
回答
将同步重写为异步:
而
不是等待函数
、
、
import time print('long
job
started') print('long
job
ended') long_
job
() print('main
job
returned') # expect
浏览 0
提问于2019-07-09
得票数 2
回答已采纳
1
回答
启动
新
Flink
作业时“无法分配内存”
、
我们正在3VM集群上运行
Flink
。每个VM有大约40 Go的RAM。每天我们停止一些工作,开始新的工作。,0)失败;错误=‘无法分配内存’(errno=12) 然而,在top中,内存
浏览 0
提问于2018-11-25
得票数 1
1
回答
如何正确分配
任务
管理器的内存?
flink
版本: 1.13.6我有一个作业,其配置如下所示。rocksdb -yD parallelism.default=8 如何
才能
浏览 10
提问于2022-11-28
得票数 0
回答已采纳
1
回答
为什么在Django视图中使用Popen时会挂起?
、
、
、
在我的一个Django视图中,我
需要
启动
一个可能
需要
几分钟
才能
完成的异步作业。由于Celery+message队列对于此
任务
来说可能是多余的,因此我使用subprocess.Popen创建了一个
子
进程,如下所示:except:
浏览 2
提问于2014-07-27
得票数 4
1
回答
Apache
Flink
:文件STDOUT在TaskExecutor上不可用
、
、
、
我从官方的
flink
存储库使用以下docker-compose.yml
启动
了
flink
。我只添加了到外部hadoop网络的连接。expose: ports: command: jobmanager -
JOB
_MANAGER_RPC_ADDRESSjobmanager links: -
浏览 1293
提问于2019-01-04
得票数 2
回答已采纳
2
回答
如何将
Flink
作业提交到远程纱线集群?
、
、
、
但是
Flink
需要
本地机器上的纱线配置文件(core-site.xml、yar-site.xml等)。所以如果我没有错的话,有两种曼纽尔的方法 将配置文件从ResourceManager下载到本地。
浏览 0
提问于2016-08-14
得票数 0
回答已采纳
1
回答
取消自定义CoroutineScope
、
、
val scope = CoroutineScope() beforeExecute(),它会
立即
取消coroutine,
而
不会调用
启动
块code.Is ?更新“在
启动
结束时,我认为
任务
已经完成,您不
需要
手动取消Coroutine。 “一旦完成
任务
,协同线就会从内存中消失。但是在第二种情况下,如果我<
浏览 0
提问于2021-03-16
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Flink进阶(四):Flink on Yarn/K8s原理剖析及实践
Flink 运行架构详解
Flink 中的应用部署:当前状态与新应用模式
Apache Flink 进阶(六):Flink 作业执行深度解析
深入解读Flink资源管理机制
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券