腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
框架适用于大规模的
分布式
调度
任务
队列。
、
、
、
、
我需要构建一个
系统
,这个
系统
至少需要10万个工作岗位,创建一天的/scheduled。我查看了多个
任务
队列,但是对
调度
的支持不多,比如以
分布式
方式
调度
,一个好的解决方案似乎是芹菜(我是一个java的家伙,我不能使用python), Akka (这看起来是一个很好的解决方案,可伸缩、持久等等,但是
调度
似乎有一个限制,比如我需要根据用户请求在一天中的不同时间安排100000个作业),如果我错了,请纠正我。我不需要和
分布式
锁来
调度
浏览 0
提问于2015-01-29
得票数 3
回答已采纳
1
回答
用于执行长时间运行的后台
任务
的Node.js库
、
、
我有一个通过REST API接受新
任务
的express.js new服务器的架构。1)我是否应该创建一个带有
任务
队列的Node.js应用程序,比如bull.js/Redis或Celery/Redis,它基本上是在一开始就启动这个长时间运行的
任务
。或 2)我是否应该有两个进程,一个用于REST API,另一个用于
调度
和管理
分布式
系统
浏览 1
提问于2019-11-14
得票数 0
1
回答
我应该使用Akka.io,Apache Spark,Mesos还是Storm作为网络抓取引擎?
、
、
、
、
我已经用纯Java和selenium构建了一个多线程的web爬行和提取引擎。API中的每个作业都在自己的线程中执行,并将其状态提交回API。每个作业还可以包含提取信息(XPth、正则表达式、CSS选择器)、连接信息(代理凭据)和爬行引擎的挂钩。例如,在保存结果之前单击一个按钮。这个引擎工作得很好,但现在我想在多台机器上并行运行它。我可以用当前的版本做到这一点(有通道支持),但我正在寻找改进和技术,让整个事情变得更好,并学习一些新的东西。 我找到了Akka.io,Apache Spark,Apache Mesos和Apache Storm,并问自己其中一个框架是否可以成为一种技术,我应该花更多的
浏览 0
提问于2015-06-17
得票数 0
1
回答
python中的
分布式
任务
调度
器?
、
、
、
、
我想要建立一个应用程序,它可以调用定期
任务
在规定的间隔- cron替换类似,但没有产卵过程。我会有很多
任务
,大约每分钟10000件。 芹菜-可以作为一个
分布式
系统<
浏览 0
提问于2018-02-28
得票数 4
2
回答
使用动物园管理器在集群中
调度
任务
、
、
、
、
我们使用Spring来运行
调度
任务
,该
任务
可以很好地处理单个节点。我们希望在N个节点集群中运行这些
调度
任务
,以便在一个时间点上最多由一个节点执行这些
任务
。缺点:
任务
执行负载没有分布
浏览 2
提问于2016-12-15
得票数 6
1
回答
如何在
分布式
dask中找到
任务
失败的原因?
、
、
我正在使用dask.distributed开发一个
分布式
计算
系统
。我提交给它的带有Executor.map函数的
任务
有时失败,而其他
任务
似乎相同,成功地运行。由Executor.map运行的函数返回None。我在地图上有40000多个
任务
,所以学习日志有点乏味。
浏览 1
提问于2016-09-22
得票数 2
回答已采纳
2
回答
嵌套的dask.compute不阻塞
、
、
、
dask.compute(...)应该是一个阻塞调用。然而,当我嵌套了dask.compute,并且内部的dask.compute执行I/O (如dask.dataframe.read_parquet)时,内部的and不是阻塞的。下面是一个伪代码示例: files = find_files_for_name(name) # do work with df def inner
浏览 11
提问于2017-08-10
得票数 0
1
回答
SPARK可以正确使用多核吗?
、
、
我想知道我是否可以在具有多核处理器的
分布式
系统
中使用spark。单个
任务
可以同时使用所有内核吗?我读过YARN将为每个不同的
任务
分配不同的核心,但在这种情况下,它是一个单一的
任务
而且,在JAVA中使用多线程编程(hadoop)来使用每台计算机中的所有内核是否足够?因为linux
调度
器是基于线程的?
浏览 0
提问于2015-04-18
得票数 10
1
回答
基于NUMA和SMP的Linux
调度
器
、
、
、
、
如果每个处理器/核心上都有
调度
()的副本,那么进程如何被分派到特定的CPU/cpu运行队列。这是负载平衡器的工作吗?是否只有一个负载均衡器运行于所有CPU,还是使用标志/通信方法以
分布式
方式完成?ps-我知道
调度
类等的工作,但我很难计算出进程在不同运行队列之间的分布情况。
浏览 6
提问于2013-02-11
得票数 1
1
回答
Django -设置一个函数,在X秒内完成
、
、
我目前有一个项目,允许用户在X秒内设置一个由自己完成的操作(即使网站上没有用户),比如Cron。你在Django会怎么做?你能帮我安排些克伦·乔布斯吗?
浏览 3
提问于2013-07-27
得票数 1
回答已采纳
1
回答
达斯克
分布式
快速拼花的不一致处理时间
、
、
、
、
compute();time.asctime()141.98732048354384使用
分布式
time.asctime()141.98732048354384>>> 我希望多处理和
分布式
我无法管理dask/distributed,
浏览 2
提问于2017-10-13
得票数 1
回答已采纳
3
回答
分布式
芹菜
调度
器
、
我正在寻找一个
分布式
的类似cron的Python框架,我找到了芹菜。然而,文档中说“你必须确保一次只有一个
调度
程序在运行一个
调度
程序,否则你会得到重复的
任务
”,Celery使用的是celery.beat.PersistentScheduler,它将
调度
存储到一个本地文件中那么,我的问题是,除了默认实现之外,是否还有其他实现可以将
调度
“放入集群”,并协调
任务
执行,以便每个
任务
只运行一次?我的目标是能够在集群中的所有主机上以相同的时间表运行celerybe
浏览 0
提问于2011-08-10
得票数 12
1
回答
LocalCluster
调度
程序没有使用所有内核,并且比默认线程
调度
程序慢吗?
、
我使用dask数组来加速一台机器(4核或32核)上的计算,使用默认的“线程”
调度
程序或dask.distributed LocalCluster (线程,没有进程)。考虑到dask.distributed
调度
器是新的,并且附带了一个很好的仪表板,我希望使用这个
调度
器。但是,我发现LocalCluster
调度
程序比默认
调度
程序慢(因子2或更多)。LocalCluster
调度
程序也没有充分利用所有请求的核心,偶尔在32核机器上只使用一个或几个内核。 问:这是预期的行为吗?如果没有,我可以做些
浏览 1
提问于2021-08-31
得票数 1
3
回答
分布式
系统
中指定时间的
任务
调度
、
、
对于具有不同执行时间的
任务
,我使用ScheduledThreadPoolExecutor。例如,一项
任务
安排在今晚9:30,另一项
任务
安排在明天上午8:00。但是,如果服务器由于某种原因而关闭,
任务
就会消失。对此有什么好的框架或其他建议吗?
浏览 1
提问于2016-08-16
得票数 2
回答已采纳
1
回答
芹菜是否支持两个
任务
之间的固定间隔?
、
我正在处理芹菜时间表
任务
,遇到了一个问题。 假设有一个计划
任务
每5分钟运行一次。 这个
任务
可以在我的一些API中手动执行, 我总是希望这个
任务
的间隔是5分钟。例如,如果该
任务
在8:00自动执行, 在8:01,我第二次执行了这个
任务
, 现在我希望下一次芹菜自动运行的时间是8:06。 那么有没有办法在芹菜中做到这一点呢?
浏览 12
提问于2020-08-21
得票数 0
回答已采纳
1
回答
如何在Dask中停止正在运行的
任务
?
当使用Dask的
分布式
调度
程序时,我有一个
任务
正在运行在我想要停止的远程工作人员上。 我该怎么阻止它?我知道cancel方法,但是如果
任务
已经开始执行,这个方法就不起作用了。
浏览 0
提问于2018-03-09
得票数 16
回答已采纳
1
回答
使用
分布式
Dask
调度
程序重复执行
任务
、
我正在使用Dask
分布式
调度
程序,在本地运行一个
调度
程序和5个工作人员。我向delayed()提交了一个compute()
任务
列表。当
任务
数为20 (一个数字>>比工作人员数)并且每个
任务
至少需要15秒时,
调度
程序将开始重新运行某些
任务
(或多次并行执行
任务
)。这是一个问题,因为
任务
修改了SQL,如果它们再次运行,最终会引发异常(由于db唯一性约束)。我不会在任何地方设置pure=True (我相信默认设置
浏览 2
提问于2017-01-31
得票数 5
回答已采纳
1
回答
代码
任务
计划建议
、
我试图确定是否存在某种允许您以
分布式
方式运行代码的东西。每个代码
任务
都有一个Id,并允许智能
调度
。 如果多个
任务
触发要运行的相同
任务
(由id确定),则只触发一个
任务
,而不是两个
任务
。
浏览 2
提问于2012-03-20
得票数 1
回答已采纳
8
回答
请推荐微软HPC的替代方案。
、
、
、
我们的目标是在集群上实现一个
分布式
系统
,该
系统
将执行基于资源消耗的基于映像的大容量I/O计算,具有以下特点:
任务
动态创建其他
任务
。每个
任务
都需要CPU (核心)、内存和本地硬盘空间方面的特定资源。在
调度</
浏览 7
提问于2010-06-30
得票数 6
2
回答
使用celery作为容错
调度
器
、
、
我想使用celery w/ rabbitmq作为
分布式
环境中的容错
调度
器。所谓容错,我的意思是,如果一个
任务
被分配给一个worker,而该worker由于某种原因而宕机,celery应该能够将其重新
调度
到另一个服务器上。在有多个工作节点的环境中,如何实现这一点?
浏览 1
提问于2011-04-06
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式任务调度
探寻繁杂定时任务的解决方案:分布式任务调度系统
探寻繁杂定时任务的解决方案:分布式任务调度系统
任务调度系统 Azkaband 搭建
扫盲篇-什么是分布式任务调度
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券