我目前有一个项目，允许用户在X秒内设置一个由自己完成的操作(即使网站上没有用户)，比如Cron。你在Django会怎么做？你能帮我安排些克伦·乔布斯吗？
浏览 3提问于2013-07-27得票数 1
回答已采纳
3回答
我正在寻找一个分布式的类似cron的Python框架，我找到了芹菜。然而，文档中说“你必须确保一次只有一个调度程序在运行一个调度程序，否则你会得到重复的任务”，Celery使用的是celery.beat.PersistentScheduler，它将调度存储到一个本地文件中那么，我的问题是，除了默认实现之外，是否还有其他实现可以将调度“放入集群”，并协调任务执行，以便每个任务只运行一次？我的目标是能够在集群中的所有主机上以相同的时间表运行celerybe
浏览 0提问于2011-08-10得票数 12
我使用dask数组来加速一台机器(4核或32核)上的计算，使用默认的“线程”调度程序或dask.distributed LocalCluster (线程，没有进程)。考虑到dask.distributed调度器是新的，并且附带了一个很好的仪表板，我希望使用这个调度器。但是，我发现LocalCluster调度程序比默认调度程序慢(因子2或更多)。LocalCluster调度程序也没有充分利用所有请求的核心，偶尔在32核机器上只使用一个或几个内核。
问:这是预期的行为吗？如果没有，我可以做些
浏览 1提问于2021-08-31得票数 1
1回答
我想要建立一个应用程序，它可以调用定期任务在规定的间隔- cron替换类似，但没有产卵过程。我会有很多任务，大约每分钟10000件。
芹菜-可以作为一个分布式系统工作，但它
浏览 0提问于2018-02-28得票数 4
我正在处理芹菜时间表任务，遇到了一个问题。 假设有一个计划任务每5分钟运行一次。 这个任务可以在我的一些API中手动执行， 我总是希望这个任务的间隔是5分钟。例如，如果该任务在8:00自动执行， 在8:01，我第二次执行了这个任务， 现在我希望下一次芹菜自动运行的时间是8:06。 那么有没有办法在芹菜中做到这一点呢？
浏览 12提问于2020-08-21得票数 0
回答已采纳
当使用Dask的分布式调度程序时，我有一个任务正在运行在我想要停止的远程工作人员上。
我该怎么阻止它？我知道cancel方法，但是如果任务已经开始执行，这个方法就不起作用了。
浏览 0提问于2018-03-09得票数 16
回答已采纳
我正在使用Dask分布式调度程序，在本地运行一个调度程序和5个工作人员。我向delayed()提交了一个compute()任务列表。当任务数为20 (一个数字>>比工作人员数)并且每个任务至少需要15秒时，调度程序将开始重新运行某些任务(或多次并行执行任务)。这是一个问题，因为任务修改了SQL，如果它们再次运行，最终会引发异常(由于db唯一性约束)。我不会在任何地方设置pure=True (我相信默认设置
浏览 2提问于2017-01-31得票数 5
回答已采纳
1回答
我试图确定是否存在某种允许您以分布式方式运行代码的东西。每个代码任务都有一个Id，并允许智能调度。
如果多个任务触发要运行的相同任务(由id确定)，则只触发一个任务，而不是两个任务。
浏览 2提问于2012-03-20得票数 1
回答已采纳
1回答
我查看了多个任务队列，但是对调度的支持不多，比如以分布式方式调度，一个好的解决方案似乎是芹菜(我是一个java的家伙，我不能使用python)，
Akka (这看起来是一个很好的解决方案，可伸缩、持久等等，但是调度似乎有一个限制，比如我需要根据用户请求在一天中的不同时间安排100000个作业)，如果我错了，请纠正我。我不需要和分布式锁来调度，而是需要异步并发。请提出替代方案。打开scala/java/javascript作为一种语言。
浏览 0提问于2015-01-29得票数 3
回答已采纳
2回答
我想使用celery w/ rabbitmq作为分布式环境中的容错调度器。所谓容错，我的意思是，如果一个任务被分配给一个worker，而该worker由于某种原因而宕机，celery应该能够将其重新调度到另一个服务器上。在有多个工作节点的环境中，如何实现这一点？
浏览 1提问于2011-04-06得票数 6
2回答
dask.compute(...)应该是一个阻塞调用。然而，当我嵌套了dask.compute，并且内部的dask.compute执行I/O (如dask.dataframe.read_parquet)时，内部的and不是阻塞的。下面是一个伪代码示例： files = find_files_for_name(name) # do work with df
def inner
浏览 11提问于2017-08-10得票数 0
1回答
您好，我正在尝试使用光线调整进行超参数优化。下面是我的代码实现。 然而，我被卡住了，即使没有任何错误消息，也无法找回结果。 @ray.remote do_somthing runs = 10 tune.report(loss_avg=loss_avg) config = load_con
浏览 65提问于2021-07-22得票数 0
我有一个通过REST API接受新任务的express.js new服务器的架构。1)我是否应该创建一个带有任务队列的Node.js应用程序，比如bull.js/Redis或Celery/Redis，它基本上是在一开始就启动这个长时间运行的任务。或
2)我是否应该有两个进程，一个用于REST API，另一个用于调度和管理分布式系统中的任务
浏览 1提问于2019-11-14得票数 0
1回答
Dask分布式库说：
默认情况下，distributed假定所有函数都是纯的。..。调度程序避免了冗余计算。如果结果已经从以前的调用中内存中，那么这个旧结果将被使用，而不是重新计算它。
浏览 6提问于2022-11-01得票数 0
回答已采纳
1回答
分布式任务调度，作业队列
、、、、
我必须通过电子邮件发送一个特定的任务通知，需要发送给用户谁期待它每6个小时。因此，我使用节点-cron在我的服务器上安排了一个任务，它每30分钟醒来一次，检查是否有任何用户没有回复他们的电子邮件，使用mysql db和updated_at col进行跟踪。工作得很好！但现在我必须让它在分布式环境下工作。使用弹性豆杆与1-4微ec2实例.除了我所拥有的(MySQL)之外，我不想添加任何其他db/存储/队列。
有人能把步骤和节点-cron一起画出来吗？(确保完成某项任务一次，我不想在6小时之前发送通知)
浏览 1提问于2014-11-10得票数 3
我已经用纯Java和selenium构建了一个多线程的web爬行和提取引擎。API中的每个作业都在自己的线程中执行，并将其状态提交回API。每个作业还可以包含提取信息(XPth、正则表达式、CSS选择器)、连接信息(代理凭据)和爬行引擎的挂钩。例如，在保存结果之前单击一个按钮。这个引擎工作得很好，但现在我想在多台机器上并行运行它。我可以用当前的版本做到这一点(有通道支持)，但我正在寻找改进和技术，让整个事情变得更好，并学习一些新的东西。
我找到了Akka.io，Apache Spark，Apache Mesos和Apache Storm，并问自己其中一个框架是否可以成为一种技术，我应该花更多的
浏览 0提问于2015-06-17得票数 0
6回答
最近，我在上玩了一圈，它对MapReduce作业的调度、管理和报告给我留下了深刻印象。它似乎使新作业的分配和执行非常无缝，使开发人员能够集中精力实现他们的作业。我想知道在Java域中是否存在不容易表示为MapReduce问题的作业的分布式执行？例如：
.B..-.--C
那么，是否有一个提供这样
浏览 4提问于2009-12-16得票数 10
回答已采纳
1回答
我注意到，使用dask分布式集群，一些长期运行的任务将从pending切换到finished，而其他任务将从pending切换到lost。我怀疑一些lost任务仍然在运行，因为我看到dask-worker进程的CPU使用率很高，即使将来没有状态pending。
lost到底是什么意思？长期运行的任务(小时)是否可以被归类为lost，因为它们可能会阻止员工向计划者报告？还有什么会导致状态lost，调度程序对此有何反应？
浏览 1提问于2018-11-18得票数 2
回答已采纳
2回答
在后端，有包装数据库对象的实体，操作数据库的DAO，以及包含调度程序和执行不同类型任务的线程的处理包(目前，我有四个任务)。我想使项目分布式(例如，在不同的机器上运行每个任务(线程))，该如何实现？
浏览 1提问于2012-07-04得票数 1
回答已采纳
1回答
我正在使用Redisson分布式执行器服务。任务类A被设计用来处理由队列ID标识的给定队列。有多个这样的队列。我需要确保在集群中的任何时候，在同一队列上工作的任务类A的实例不超过一个。因此，任务实例的预分配不是一个选项。
在Quartz分布式调度器的世界中，对应的是所谓的独占作业，由@DisallowConcurrentExecution实现。如果不是直接的，这可以通过一些分布式锁(这在Redisson中很方便)来实现吗？
浏览 4提问于2020-08-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
