链接中的芹菜任务从无序开始
芹菜任务是一种任务调度算法，它可以用于分布式系统中的任务调度和执行。该算法的目标是在多个执行节点之间有效地分配任务，以最大程度地提高系统的性能和效率。
芹菜任务主要分为以下几个步骤：
- 任务定义和注册：首先，需要定义并注册要执行的任务。这包括任务的名称、参数和执行逻辑等信息。
- 任务队列：接下来，将任务放入任务队列中。任务队列可以采用先进先出（FIFO）或其他调度算法来管理任务的执行顺序。
- 任务调度：调度器会从任务队列中选择一个合适的任务分配给可用的执行节点。调度算法可以根据任务的优先级、资源需求和执行节点的负载等因素进行选择。
- 任务执行：执行节点接收到任务后，根据任务的定义执行相应的操作。这可以包括计算、存储、网络通信等各种操作。
- 任务状态更新：一旦任务执行完成，执行节点会将任务的状态更新到中央管理器或任务队列中，以便其他节点可以获取任务的执行情况。
芹菜任务的优势包括：
- 分布式任务调度：芹菜任务可以有效地将任务分配给多个执行节点，并根据节点的负载情况进行动态调度，从而提高系统的并发性和可扩展性。
- 高可靠性：芹菜任务可以实现任务的自动重试和故障恢复，保证任务能够在出现异常情况下继续执行，提高系统的可靠性。
- 灵活性：芹菜任务支持任务的动态注册和调度，可以根据需求动态调整任务的执行顺序和优先级，适应不同的业务场景。
- 监控和管理：芹菜任务可以提供任务执行的监控和管理功能，包括任务的进度、执行时间、资源消耗等指标的统计和展示。
对于芹菜任务的应用场景，它适用于各种需要进行分布式任务调度的场景，例如大数据处理、图像处理、视频转码、实时数据分析等。
腾讯云相关产品中，与芹菜任务相关的产品是腾讯云容器服务（Tencent Kubernetes Engine，TKE）。TKE是腾讯云提供的容器集群管理服务，它可以在云端快速部署和管理Kubernetes集群，提供高可用、高性能的容器调度和运行环境。通过TKE，可以方便地进行芹菜任务的部署和管理。
腾讯云容器服务产品介绍链接：https://cloud.tencent.com/product/tke
相关·内容
1回答
我在django上使用芹菜来完成周期性任务。
CELERYBEAT_SCHEDULE = {
'send_sms_one_pm': {
'task': 'tasks.send_one_pm',
'schedule': crontab(minute=0, hour=13),
},
'send_sms_ten_am': {
'task': 'tasks.send_ten_am',
'sche
浏览 6提问于2016-07-12得票数 0
我有一个Dockerrun.aws.json文件，它使用Beanstalk多容器在EC2实例上部署芹菜容器。
在每个部署中，默认情况下，Beanstalk或ECS代理将杀死所有实例上的现有芹菜容器，然后创建一个新的芹菜容器。这会不成熟地杀死芹菜任务，这会产生问题，因为任务无法完成。
芹菜容器有supervisord，它实际上监视芹菜过程，并在芹菜关闭时将其调出。
有人能建议我们如何通过允许芹菜容器/进程完成他们已经从SQS中消耗的任务来优雅地杀死它们吗？
浏览 1提问于2019-01-03得票数 0
我正在Python项目中工作。
它的功能之一是有人从web应用程序中发送一些数据，将数据提前发送到移动设备。
对于此功能，应用程序使用第三方服务作为和。以下是应用程序的数据流。
Web应用
由于Amazon端可能存在网络延迟、操作延迟和故障等问题，web应用程序使用作为调度器应用程序来实现异步、重试等行为，并将SNS发送任务存储在队列中并进行异步处理。
芹菜作为调度器使用RabbitMQ作为它的代理应用程序。以下是数据流。
Web >芹菜-> RabbitMQ -> Amazon > GCM -> Android设备
确定了一个与芹菜和Rabbit
浏览 0提问于2018-04-11得票数 0
1回答
我有以下设置：
RabbitMQ broker + Django
使用CELERYD_PREFETCH_MULTIPLIER=32的芹菜(我有很多小任务，因此，从性能的角度来说，预先获取它们是很有意义的)
CELERY_ACKS_LATE=False (任务不是幂等的)
我在码头集装箱里经营芹菜，所以当我重建码头时，芹菜工人没有优雅地关闭。这是好的，如果任务不被确认为代理将把他们送回去，一旦工人再次在新的码头集装箱，但在其他情况下，他们将-将失去。
在花卉管理面板中，预取任务已经接收到状态。
我仔细阅读了官方文档和，直觉地，我觉得在我的设置中预取的任务是被认可的。是这样吗？
浏览 4提问于2017-02-13得票数 5
回答已采纳
1回答
姜戈芹菜和弦未执行
、、、
我有一个程序，它通过Python的迭代工具生成大量的产品列表；基本上是一组各种各样的单词组合。要通过products()函数运行多个集合。我想做的是得到芹菜来帮助这一点，把每一套给不同的芹菜任务，然后结合到最后。我的理解是和弦就是这样做的。
从本质上说，我有这样一个：
callback = tabulate_results.subtask()
header = []
for combo in combos_to_run:
header.append(run_product.subtask(args=(object_terms, combo)))
result = chord(heade
浏览 1提问于2013-03-17得票数 3
1回答
我正在使用芹菜作为我的网络应用程序。芹菜执行父任务，然后执行更多的任务。
芹菜问题
我无法从luigi获得依赖关系图和可视化工具来查看我的父任务的状态
芹菜不提供机制重新启动失败的管道，并从失败的地方开始。
这两件事我很容易从路易吉那里得到。
所以我在想，一旦芹菜执行了父任务，然后在这个任务中执行Luigi管道。
这会有什么问题吗?我需要根据队列大小自动调整芹菜工人的规模。这会影响到多台机器上的任何luigi员工吗？
浏览 1提问于2016-05-05得票数 3
回答已采纳
1回答
我在一个服务器上有一个django应用程序+ redis，在另一个服务器上有芹菜。我想调用django应用程序的芹菜任务。
我在芹菜服务器上的task.py：
from celery import Celery
app = Celery('tasks')
app.conf.broker_url = 'redis://localhost:6379/0'
@app.task(bind=True)
def test():
print('Testing')
从Django服务器调用芹菜任务：
from celery import Celery
浏览 2提问于2022-09-29得票数 1
1回答
芹菜工作线程并发
、、
我已经做了一个刮刀来扫描大约150个链接。每个链接都有大约5k个子链接可以从中获取信息。
我使用Celery在后台运行scraper，并将数据存储在Django ORM上。我使用BeautifulSoup作为废料网址。
当我使用以下命令运行celery时
celery worker -A ... --concurrency=50
除了从1到50睡眠的工人，一切都很好。
我怎样才能让芹菜一直工作到刮刀完成它的任务？
浏览 16提问于2017-12-23得票数 3
回答已采纳
我有一个django项目，在这个项目中，我使用芹菜和rabbitmq来执行一组异步。任务。所以我计划的设置是这样的。
Django应用程序运行在一台服务器上。
芹菜工人和兔子从另一台服务器上跑。
我最初的问题是，如何从位于另一个服务器上的芹菜任务中访问django模型？
假设我无法访问Django模型，那么一旦任务完成，我是否可以向Django应用程序发送一个回调，传递值，以便根据传递的值更新Django的数据库？
浏览 3提问于2016-08-18得票数 5
我从芹菜博士那里学到了，默认情况下，芹菜在执行任务之前会确认信息。
芹菜工人将检索多个任务消息，并将它们放在一起，还是只是检索一条、攻击一条并执行一条，然后检索下一条，然后将其插入并执行？
如果是后者，对于处于绿色模式的工作人员，当它正在执行任务并等待网络响应时，它是检索另一个任务消息并执行它，还是只是等待第一个任务完成？
浏览 4提问于2016-08-10得票数 1
回答已采纳
重新启动芹菜会导致所有周期性任务(芹菜节拍时间表)重新设置，并从芹菜重新启动的时间开始，还是保留计划？
例如，假设我有一个每天下午12点执行的周期性任务。现在我下午3点重新开始芹菜。这个周期性的任务会被重置为每天下午3点运行吗？
浏览 1提问于2021-10-13得票数 0
回答已采纳
1回答
避免芹菜重试未注册的任务
、、、、
我们有一个带有芹菜的Django应用程序来处理异步任务。我们使用AWS SQS作为任务代理。
我们最终得到了一个要处理的糟糕任务(删除了任务实现而没有删除芹菜节拍条目)。这导致了以下错误：
Received unregistered task of type KeyError('some_deleted_task').
The message has been ignored and discarded.
一旦我们清理了芹菜节拍条目，我们就继续得到错误~2分钟( SQS上的能见度超时设置为2分钟)。
行为似乎是：
任务添加到队列中，在SQS中作为“可用”
工作人员拿起任
浏览 10提问于2021-10-26得票数 0
我从我的芹菜工人开始
celery -A workerTasks worker --concurrency 1
在django的settings.py中，我还有：
CELERYD_PREFETCH_MULTIPLIER = 1
CELERY_worker_prefetch_multiplier = 1
但是，一旦连接到芹菜代理，工作人员仍然会消耗5个任务。
我遗漏了什么？
浏览 0提问于2019-07-11得票数 3
2回答
监测芹菜，我应该用什么？
、、、
我用的是Django，芹菜和Django-芹菜。我想监控我的任务的状态/结果，但我对如何做到这一点有点困惑。
我应该使用./manage.py celeryev、./manage.py celerymon、./manage.py celerycam吗？我要运行sudo /etc/init.d/celeryevcam start吗
浏览 0提问于2011-04-28得票数 6
回答已采纳
3回答
如何将任务排队到C#的芹菜中？
、、、、
正如我所理解的，像RabbitMQ这样的消息代理为用不同语言/平台编写的不同应用程序相互通信提供了便利。因此，由于芹菜可以使用RabbitMQ作为消息代理，所以我相信我们可以将任务从任何应用程序排队到芹菜，即使生产者不是用Python编写的。
现在，我试图弄清楚如何通过C#通过RabbitMQ编写应用程序，将任务排队到芹菜。但我还找不到这样的例子。
我发现的唯一接近这个的信息是
所接受的答案建议使用芹菜消息格式协议将消息从Java排队到RabbitMQ。但是，在答案中给出的链接没有任何示例，只有消息格式。
此外，在此协议中需要消息格式says (UUID)进行通信。我的C#应用程序如何知道芹菜
浏览 3提问于2016-10-13得票数 13
回答已采纳
1回答
我是Python和芹菜的新手--Redis，所以如果我的理解不正确，请纠正我。
我一直在调试一个代码库，它的结构类似-
TaskClass ->芹菜任务
HandlerClass1, HandlerClass2 -> --这些是扩展对象类的python类
应用程序创建TaskClass say dumyTask实例，dumyTask通过获取处理程序的签名创建芹菜子任务(我相信这些子任务是唯一的)，dumySubTask1, dumySubTask2。
我不明白的是什么？
1)芹菜如何管理dumySubTask1, dumySubTask2和dumyTask的结果？我的意思是，dum
浏览 2提问于2017-06-16得票数 0
2回答
前提条件:有一个小芹菜集群在处理一些任务。每个celery实例都有很少的工作进程在运行。一切都在烧瓶下运行。
任务:我需要一种从代码中暂停/恢复使用特定节点任务的能力。即任务可以决定当前芹菜实例和她的所有工作者是否应该暂停或恢复消费任务。
没有找到任何直接的方法来解决这个问题。有什么建议吗？
提前感谢！
浏览 0提问于2012-04-17得票数 2
手头的任务：
有一个MySQL表，其中将用户活动作为行进行推送。该活动需要稍后处理。
id | activity_type | activity_data | creation_time | status
23 EMAIL {....... } 2013-02-01 UNPROCESSED
没有芹菜的加工：
使用一个脚本来获取N个记录进行处理，然后对它们进行处理，然后更新已处理记录的状态。
如何使用芹菜实现相同的功能，我想使用相同的功能来标记任务而不是使用代理？例如，任务添加->将10个最老的行添加到状态未处
浏览 3提问于2013-03-29得票数 8
回答已采纳
我试图在heroku上部署一个烧瓶应用程序，在芹菜中使用背景任务。我已经实现了，这样芹菜过程就不会绑定到烧瓶应用程序的任何一个实例。
这在本地工作，我还没有看到一个错误。但是，当部署到heroku时，总是会出现相同的结果:芹菜任务(我只使用一个)在第一次运行时就成功了，但是后续对该任务的任何芹菜调用都会在sqlalchemy.exc.DatabaseError: (psycopg2.DatabaseError) SSL error: decryption failed or bad record mac中失败。如果我重新启动芹菜工人，循环就会继续。
有 显示相同的，但没有指定合适的解决方案。我
浏览 3提问于2017-07-20得票数 3
回答已采纳
要获取芹菜任务的信息，我需要task_id。当手工启动芹菜任务时，我可以使用task.id轻松地获得此任务的id (并将其写入DB或执行其他操作)。如果我用芹菜打，它会定期地把任务交给工人，那似乎是不可能的。
所以我的问题是，如何从任务中得到id，拍打把任务发送给芹菜的工人？
当工作人员接收到任务时，控制台将显示任务id。所以我担心的是，在任务被敲打发送给工人的那一刻，它没有任务id。
获得task_id的手动案例：
task = tasks.LongRunningTask.delay(username_from_formTargetsLaden, password_from_formTarg
浏览 0提问于2019-06-27得票数 3
回答已采纳
1回答
有没有办法将Django芹菜任务与保存在数据库中的每条记录关联起来？例如，如果我想要每个用户收到一封电子邮件，这取决于用户想要它的日期。
也许我错误地认为这样的问题的解决方案是由Django芹菜解决的，有什么可以帮助我的吗？
浏览 0提问于2018-09-18得票数 0
1回答
姜戈芹菜工人没有接受任务
、、、、
每当我管理芹菜工人时，我都会收到警告。
./manage.py celery worker -l info --concurrency=8
如果我忽视了这个警告，那么我的芹菜工人就没有收到芹菜的任务。
在之后，我也更改了工人的名字，但是这次我没有收到警告，但是芹菜工人仍然没有收到芹菜的预定任务。
我已经检查了芹菜的节拍记录，以及芹菜节拍的时间安排。
我还检查了芹菜花，它显示了两个工人和第一个工人正在接收任务而没有执行任务，如何把所有的任务都交给第二个工人呢？或者我怎样才能让第一个工匠停用，我所缺少的芹菜是什么？
我的django settings.py
RABBITMQ_USERNA
浏览 5提问于2017-05-12得票数 1
回答已采纳
2回答
芹菜敲打亚马逊ECS
、、、
我正在使用(弹性容器服务)。我的任务定义包含Application + Redis +芹菜，这些容器是在任务定义中定义的。设置了自动缩放，因此目前有三个具有相同镜像基础结构的实例。然而，对于预定的任务来说，需要一个芹菜拍子，所以芹菜拍打是一个很好的工具，因为芹菜已经在我的基础设施中了。
但问题是:如果我将芹菜Beat容器与其他容器(将其添加到任务定义中)一起添加，它将被镜像，多个实例将在同一时刻执行相同的调度任务。如何解决这一基础设施问题？我应该创建一个独立的服务吗？
浏览 0提问于2018-01-17得票数 5
1回答
如果我正确理解本教程，芹菜子任务支持与任务几乎相同的API，但它还有一个额外的优势，即它可以传递给其他函数或进程。
显然，如果是这样的话，芹菜只会用子任务代替任务，而不是两者都保留(例如，@app.task装饰师会将函数转换为子任务，而不是任务，等等)。所以我一定是误会了什么。
子任务所不能完成的任务能做什么呢？
芹菜API变化很大；我的问题是针对3.1版的(目前是最新的)。
编辑：
我知道医生说子任务是从其他任务中调用的。我的问题是，什么能阻止芹菜完全摆脱任务，到处使用子任务？它们似乎严格地比任务更灵活/更有力：
# tasks.py
from celery import Celery
ap
浏览 6提问于2016-10-02得票数 8
1回答
我正在开发一个django web应用程序，它的功能(例如sync_files())需要很长时间才能返回。当我使用gevent时，当sync_file()运行时，我的应用程序不会阻塞，其他客户端也可以很好地连接这个When应用程序并与其交互。
我的目标是让and应用程序响应其他客户，而不是阻止。我不希望有无数的用户连接到我的set应用程序(最多20个连接)，我也不想把它设置成下一个twitter。我的应用程序运行在vps上，所以我需要一些重量轻的东西。
因此，在我上面列出的例子中，当我使用gevent时，使用芹菜是否多余？用芹菜有什么特别的好处吗？我不喜欢用芹菜，因为这是我机器上的另一项服务。
浏览 1提问于2013-09-24得票数 5
回答已采纳
1回答
我必须从数据库(Oracle)调用一些存储过程。我用芹菜和红葡萄酒以异步的方式称呼这个SP。
tasks.py
@task
def carga_ftp():
tabla = Proc_Carga()
sp = tabla.carga()
return None
@task
def conci(idprov,pfecha):
conci = Buscar_Conci()
spconc = conci.buscarcon(idprov,pfecha)
return None
我需要为每个任务指定不同的并发。对于任务CONCI，我需要1的并发性，对于
浏览 0提问于2015-04-16得票数 2
回答已采纳
1回答
我正在尝试使用芹菜3.1从自定义管理命令运行一个任务。
如果我从视图中调用我的任务，它可以正常工作，但是当从我的管理命令启动相同的任务时，任务将只在当前上下文中同步运行(而不是通过芹菜异步运行)。
我没有装芹菜。
要在命令行上获得异步任务处理，需要向管理命令中添加什么？
浏览 0提问于2015-12-16得票数 1
回答已采纳
1回答
1)芹菜链。
在医生上我读到：
这里是一个简单的链，第一个任务执行，将其返回值传递给链中的下一个任务，依此类推。
>>> from celery import chain
>>> # 2 + 2 + 4 + 8
>>> res = chain(add.s(2, 2), add.s(4), add.s(8))()
>>> res.get()
16
但是，链项的结果到底在哪里传递给下一个链项呢？在芹菜服务器端，还是传递给我的应用程序，然后我的应用把它传递给下一个链项目？
这对我来说很重要，因为我的结果很大，可以把它们传递给应
浏览 1提问于2016-11-19得票数 1
回答已采纳
2回答
可以动态地为芹菜添加周期性任务吗？
我使用的是Flask，而不是django，我正在构建一个应用程序，允许用户通过web界面定义反复出现的任务。
我尝试过使用芹菜4.1中的周期任务，但是要添加新任务，我必须停止芹菜服务器，更改配置(即使是通过python完成)，然后重新启动它。也许有一种方法可以动态加载配置(而不必重新启动它)？
我已经考虑过每5分钟重新开始芹菜服务的crontab。但这似乎是非常反自然的。原因之一是因为我不想用芹菜。
有人在这上面有灯吗？
ps.：我知道，但它是从2012年开始的。我希望从那以后事情发生了变化，也就是在v4.1中引入了节拍。
浏览 2提问于2017-12-06得票数 12
回答已采纳
2回答
我可能不正确地使用芹菜。但是我正在开发的聊天机器人需要用于异步任务的带有redis的芹菜。这是我使用的框架：。
我的特定用例目前要求我运行一个芹菜任务 currently ，并在这两者之间等待一些任意时间，从30分钟到3天不等。就像这样
@celery.task
def myAsyncMethod():
while true:
timeToWait = getTimeToNextAlarm()
sleep(timeToWait)
sendOutMessages()
基本上，我有一个不存在的异步进程。我很确定不应该用这种芹菜。因此，我的问题
浏览 3提问于2017-07-27得票数 4
回答已采纳
1回答
我有两个不同的Python应用程序，使用芹菜连接到同一个代理。
服务器A有我所有的@任务，但我需要从Server B执行这些任务。我无法执行标准导入任务，因为服务器B上不存在标准导入任务。
在服务器B的芹菜中，我如何只在服务器A上运行存在的任务？
即
服务器B：
from tasksFromSeverA import add
add.delay(4, 4)
芹菜里有什么东西可以让你发出信号来运行，比如给经纪人一个叫做“添加”的任务？
浏览 1提问于2014-08-29得票数 1
回答已采纳
1回答
我的Python应用程序支持一些长期运行的任务，这些任务是使用API或来自其他系统的CURL调用来调用的。
当我通过手动将其输入终端来执行以下命令时，它工作得很好。
celery worker -A manage.celery --loglevel=info -f log/celery.log
现在，我想为服务器创建一个服务，如果系统重新启动，这个芹菜工人应该自己开始。但是，当从服务执行以下命令时，它不会从队列中接受任何新任务。
celery worker -A manage.celery --pool=solo --loglevel=info -f log/celery.log
我可以看到C
浏览 0提问于2020-02-17得票数 2
回答已采纳
1回答
我正在使用Django的芹菜3。
我在数据库中有一个作业列表。用户可以启动特定的作业，该作业将启动芹菜任务。
现在，我希望用户能够启动多个作业，它应该将它们添加到芹菜队列中，并一个接一个地处理它们，而不是像异步那样并行处理。
我正在尝试使用celery创建一个作业调度器，其中用户可以选择要执行的作业，它们将以顺序方式执行。
如果我使用chain()，那么我不能动态地将新任务添加到链中。
什么是的最佳解决方案？
浏览 0提问于2017-05-16得票数 7
2回答
芹菜节拍队列包含过时任务
、、、、
我在Django中使用定期芹菜任务。我过去在app/tasks.py文件中有以下任务：
@periodic_task(run_every=timedelta(minutes=2))
def stuff():
...
但是现在这个任务已经从我的app/tasks.py文件中删除了。然而，我一直在我的芹菜日志中看到对此任务的调用：
[2013-05-21 07:08:37,963: ERROR/MainProcess] Received unregistered task of type u'app.tasks.stuff'.
我使用的芹菜节拍调度器似乎没有更新它的队列。下面是
浏览 5提问于2013-05-21得票数 8
1回答
如何在任务结束后删除队列中的所有任务？
我想要像这样的东西()，但要芹菜3.0。
谢谢
编辑：
来自芹菜文档：
我的代码看起来是：
从芹菜进口current_app作为芹菜
@task
def task_a():
celery.control.purge()
我原以为，如果我发布了5个任务，那么只有第一个任务会运行。不知怎么的，我没有那么做。
谢谢
浏览 1提问于2013-11-08得票数 1
回答已采纳
我使用的是芹菜3.0.20，我很难让芹菜任务与不同的队列一起工作。
我的芹菜工人是通过队列配置启动的。
-Q:w1 default -Q:w2 longrunning
Django设置包含以下芹菜配置：
CELERY_QUEUES = (
Queue('default', Exchange('default'), routing_key='default'),
Queue('longrunning', Exchange('longrunning'), routing_key='longrun
浏览 1提问于2014-05-28得票数 2
回答已采纳
1回答
我在Django有一个芹菜应用程序，在那里我定义了所有定期明智的任务，每隔一段时间。，我已经在5 concurrency 启动了芹菜工人
celery -A appname worker --loglevel=info -B -c 5
现在定义的每个任务都将周期性地执行w.r.t它们的间隔&如果它们存在超过5个活动任务，就排队。现在，我想定义一个任务，这样它应该在调用时执行。无论是排队还是其他任何事情。--
send_task('task_name',[],get_task_kwargs)
每当我打电话给时，它都应该立即执行，而不会在芹菜工人的同时排队。
浏览 6提问于2020-01-26得票数 0
1回答
我有一个项目托管在数字海洋的一个基本液滴与2GB拉姆。在我的本地机器中，长时间运行的任务运行在8-10分钟之间，而且仍然是数字海洋水滴中的successful.However，通常情况下芹菜在长期运行的任务中不会成功。
目前芹菜- celery 5.2.6我有两种配置在主管
运行芹菜工人celery -A myproject worker -l info
运行芹菜击败celery -A myproject beat -l info
这是来自celeryd.log的消息
CPendingDeprecationWarning:在芹菜5.1中，我们引入了一个可选的中断更改，在连接时
浏览 25提问于2022-07-07得票数 0
如何从项目级别调用芹菜(app)任务，反之亦然。
我有一个Django目录结构，类似于：
- proj
|_ celery.py
|_ settings.py
- app
|_ tasks.py
|_ views.py
在settings.py中，我有一个CELERYBEAT_SCHEDULE变量，它引用app/tasks中的shared_task。此任务未在celery inspect registered中列出。
在注册表中列出的任务也不是，因为它们是在proj/celery.py中定义的，可以由apps/views.py中的函数调用。
我遵守了芹菜
浏览 5提问于2016-05-23得票数 5
回答已采纳
1回答
我没有芹菜方面的经验，所以我正在研究我的用例是否可以在芹菜中解决。
客户将向芹菜提交作业，此作业将在CeleryTask中执行。然后，客户端必须每30秒发送一次“保持活动”，以保持该作业的活动。如果作业未通过“保持活动”消息刷新，则该作业将被取消。
我能想到两种解决方案：
每个创建的任务都有30多个时间限制。当客户端发送“保持活动”时，路由器将向相关工作人员发送消息，以重新设置困难的时间限制。
每个任务都没有时间限制。对于每个作业任务，将启动另一个特殊的看门狗任务。看门狗的任务将延迟30分钟启动。如果来自客户端的新的“保持活动”任务被取消并重新创建。再拖延30秒。如果执行看门狗，它将终
浏览 4提问于2017-03-28得票数 0
1回答
我们有两个微服务。一个使用django和mysql进行用户操作，另一个使用bottle和mongodb进行地理计算。
在后台，我们需要更新/查看mysql和mongodb。我们如何在芹菜中做到这一点？任务可以从Django应用程序或瓶子应用程序执行。
谢谢。
浏览 9提问于2017-04-11得票数 1
1回答
我想向我的管理用户展示一个指向正在运行的芹菜任务的超链接。
我使用django_celery_results，但这只包含已完成任务的行。
我可以写一个简单的观点，但我想已经有一个更专业的解决方案了。
步骤：
管理员用户选择几行
我的自定义管理actino创建了异步芹菜任务。
我想向管理用户展示一个超链接，他可以在那里等待结果。
一旦结果可用，就应该进行重定向到django_celery_results管理视图。
哪种芹菜能帮上忙？
浏览 2提问于2021-04-09得票数 1
2回答
姜戈芹菜背景刮刀
、、、、
我需要些帮助,
我的装置是Django，Postgres，芹菜，Redis -都是伪造的。除了与用户相关的常规功能外，应用程序还应该在后台模式下刮除信息。
我需要的是从管理命令中手动启动刮取函数，比如"python manage.py start_some_scrape --parm-1-start_some_scrape 2 ..etc"，并且知道这个脚本是在后台模式下工作的，只通过日志通知我。
在这个时候，脚本没有芹菜工作，只有在终端连接还活着的时候，没有什么用，因为刮板应该工作很长时间，类似的日子。
芹菜是正确的选择吗？如何正确地将任务从管理命令传递到芹菜？如何防止芹菜受
浏览 1提问于2021-06-11得票数 0
5回答
芹菜在节点JS中的等价物
、、、、
请建议在Node中使用相当于芹菜的方法来运行异步任务。我找到了以下几个方面：
()
Kue ()
咖啡()
cron ()
芹菜()
我在后台运行了手动线程和自动线程，并与MongoDB进行了交互。
节点芹菜使用的是redis DB而不是Mongo。有什么办法可以改变吗?当我安装节点-芹菜红被安装为依赖。
我对芹菜很陌生，请guide.Thanks。
浏览 6提问于2015-02-12得票数 26
回答已采纳
我有一个芹菜敲打刮刀，它定期运行，从特定的api中获取最新数据(每30分钟)。
今天(2019年12月14日)，我仍然可以看到芹菜花在5天前(2019年12月12日)完成的任务的结果。
这是浪费的内存，我想在我的ec2上收回
问题：
芹菜在一定的天数后会产生红色吗？
是否有芹菜选项将任务装饰器@task(name='task_name')中的最新任务结果保留在redis中？
是否有选项只保存最后一个X数量的任务结果在redis内存中？
浏览 1提问于2019-12-14得票数 1
回答已采纳
1回答
关于芹菜我没什么问题。请帮我一把。
我们需要把项目代码放在每个芹菜工人身上吗？如果是的话，如果我正在增加工作人员的数量，并且正在更新我的代码，那么在所有员工实例中更新代码的最佳方法是什么(而不每次都手动将代码推送到每个实例中)？
在芹菜工人中使用-Ofair作为参数，即使设置了PREFETCH_LIMIT=8 or so，也可以禁用工人的预取
重要事项: rabbitmq是将任务分配给工人，还是由工人从代理中提取任务？
在一个系统中有一个以上的芹菜工人(子进程和核数一样多)有意义吗？我看到很少有人在一个单一的系统中管理多个芹菜工人。
为了补充前面的问题，这两种场景之间的性能
浏览 0提问于2019-06-20得票数 3
2回答
我已经设置了一个芹菜任务，它使用RabbitMQ作为代理，使用Redis作为后端。运行之后，我注意到我的Redis服务器仍在使用大量内存。经过检查，我发现创建的每个任务仍然有密钥。
只有在收到回复后，才有办法让芹菜清理这些钥匙吗？我知道有些MessageBrokers用的是ack，在芹菜中有相当于红色后端的东西吗？
浏览 3提问于2017-11-08得票数 0
回答已采纳
1回答
芹菜如何处理链内的任务失败？
、、、、
当一个链子里的芹菜任务失败时会发生什么？
当失败的任务被成功地重新尝试时，它仅仅是从链中的位置恢复吗？
例如：
my_chain = (task1.s() | task2.s() | task3.s())
my_chain.apply_async((**params))
如果task2失败并成功地重新尝试，那么task3会被执行吗？
有一个老问题涉及到这一主题()，一个Github 和应用于芹菜3.0.4版本，它使Task.retry转发链链接以解决这个问题。然而，我找不到任何具体的文件来解释芹菜在这种情况下的行为。
当然，在芹菜文档重试部分(，)中没有提到它。
浏览 2提问于2015-03-01得票数 1
回答已采纳
我想要实现的
我想做一个网站，让用户从其他网站刮擦信息。我的目标是实现以下目标：
当刮取过程开始时，用户按下“刮取”，如果用户按下“停止”按钮，则呈现带有加载消息的视图和“停止”按钮，或者如果刮取过程终止，则显示具有刮擦结果的视图。
电流状态
目前，我有一个非常简单的抓取网站与一个可怕的用户体验。用户按下刮键后，我呈现一个类似于以下视图的视图：
def scraping_view(request, scraper_args):
scrape_results = scrape(scraper_args) # Very long function!
return render(re
浏览 2提问于2022-01-08得票数 1
1回答
我对芹菜很陌生，我想知道如何最好地利用芹菜来完成以下工作。
假设我有十个大数据集。我意识到我可以通过提交10个任务来使用芹菜来完成每个数据集的工作。但是，假设每个数据集都由存储在一个1,000,000+数据库中的NoSQL文本文档组成(在我的例子中是Elasticsearch)。工作在文档级别执行。工作可能是任何事情--也许是在数单词。
对于给定的数据集，我需要启动数据集级别的任务。该任务应从数据存储区读取文档。然后，工作人员应该处理文档--文档级别的任务。
如果任务是在数据集级别而不是文档级别定义的，那么我如何做到这一点？我正在尝试不再使用JoinableQueue来存储文档，并将它们提交给
浏览 4提问于2022-08-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
