如何使用在gevent上运行的Celery来控制内存？
Celery是一个基于分布式消息传递的异步任务队列/作业队列，它可以用于处理大量的任务和并发请求。gevent是一个基于协程的Python网络库，它提供了高效的并发处理能力。在使用gevent上运行Celery时，可以通过以下步骤来控制内存：
- 安装Celery和gevent：使用pip命令安装Celery和gevent库。
- 配置Celery：创建一个Celery配置文件，配置Celery的相关参数，如消息代理（例如RabbitMQ、Redis等）、结果存储（例如数据库、缓存等）、并发数等。
- 创建任务：定义一个或多个任务函数，使用Celery的装饰器将其注册为Celery任务。任务函数可以接受参数并返回结果。
- 启动Celery Worker：使用Celery命令启动一个或多个Celery Worker进程，这些进程将监听任务队列并执行任务。
- 调用任务：在应用程序中调用Celery任务函数，将任务添加到任务队列中等待执行。可以通过Celery提供的API来调用任务，并获取任务执行的结果。
控制内存的方法：
- 限制并发数：在Celery配置文件中设置并发数参数，限制同时执行的任务数量，以控制内存的使用。
- 优化任务处理：对于内存占用较大的任务，可以对任务进行优化，减少内存的使用。例如，对于处理大文件的任务，可以使用流式处理，避免一次性加载整个文件到内存中。
- 监控内存使用：使用监控工具（如psutil）监控Celery Worker进程的内存使用情况，及时发现内存泄漏或异常情况，并进行处理。
- 调整任务大小：根据任务的特点和需求，合理设置任务的大小。对于大型任务，可以将其拆分为多个子任务，分批处理，减少内存压力。
- 使用内存管理工具：使用Python提供的内存管理工具，如gc模块，手动管理内存的分配和释放，避免内存泄漏。
腾讯云相关产品推荐：
- 云服务器（CVM）：提供高性能、可扩展的云服务器实例，可用于部署Celery Worker进程。 产品介绍链接：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（TencentDB for MySQL）：提供高可用、可扩展的云数据库服务，可用于存储Celery任务的结果。 产品介绍链接：https://cloud.tencent.com/product/cdb_mysql
- 弹性缓存Redis版（TencentDB for Redis）：提供高性能、可扩展的云缓存服务，可用作Celery的消息代理和结果存储。 产品介绍链接：https://cloud.tencent.com/product/redis
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
我在Django用芹菜配兔子。我的任务是独立的，我使用了gevent策略。我想在多个进程上运行芹菜任务(因为gevent运行在单个进程上)。但是记忆是无缘无故地成长起来的，没有任何任务。发生了什么？
这是我的芹菜命令：
celery multi start 10 -P gevent -c 500 -A my-app -l info -E --without-gossip --without-mingle --without-heartbeat --pidfile='my-path' --logfile='my-path'
我的Django芹菜配置：
CELERY
浏览 12提问于2022-10-16得票数 0
回答已采纳
我们使用gevent运行Celery，虽然开始时内存消耗很大，但随着时间的推移，内存使用量会增加。假设我们不能追踪内存膨胀或泄漏的原因，有没有控制内存使用的好方法？ 当在prefork上运行时，我们使用了--max-tasks-per-child和--max-memory-per-child，但它们似乎与gevent不兼容(Celery文档显示它只适用于prefork：https://docs.celeryproject.org/en/stable/userguide/workers.html#max-tasks-per-child-setting)。 我们是否可以重新创建该功能，以便在内存
浏览 39提问于2020-08-06得票数 0
1回答
一个月后未能执行芹菜任务
、、、、
我的程序每天运行特定的任务，这些任务由django-celery-beat.设置最近，我注意到任务没有执行，所有更改都是通过重置supervisorctl.配置的芹菜服务来完成的。
command=/opt/taskjo/taskjo-venv/bin/celery -A taskjo worker --pool=gevent --autoscale 4,2 -B -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler --loglevel=INFO
我加了这些东西
--pool=gevent --autosca
浏览 18提问于2022-09-05得票数 0
1回答
龙卷风/扭伤-芹菜-葡萄比较
、、、、
我在理解这三个框架之间的差异时遇到了一些困难：
/
这三个框架可以用于同时运行代码，但使用不同数量的线程/进程或代码以不同的方式运行。我现在就是这样理解这些差异的：
Tornado/Twisted使用由I/O循环控制的异步代码。这允许在单个线程上运行代码(多个线程是无用的，因为如果您有非阻塞代码，这是不必要的)。
Celery使用基于任务的系统异步运行代码，代码本身仍然是同步的。存在一个能够在不同流程上的其他工作人员之间分配不同任务的主要过程。
Gevent使用基于线程的系统，并生成一个线程来处理不同的不可启动连接。
我现在要问的问题是：
我对这
浏览 3提问于2013-06-15得票数 22
回答已采纳
我正在尝试使用运行芹菜，并希望使用执行以下命令。
celery worker --app=worker.app --pool=gevent --queues=queue1,queue2 --concurrency=20 -- loglevel=INFO
传统上，我会做这样的事
[celery, worker, --app=worker.app, --pool=gevent, --concurrency=20, --queues=queue1, --loglevel=INFO]
在使用这种格式时，如何合并用于分隔两个队列名称的"，“？
我试过了
command: >
浏览 3提问于2020-03-19得票数 1
回答已采纳
1回答
我们有8 Core，16 GB内存，Linux服务器运行芹菜，它运行芹菜工作队列myQueue，并在gevent池下运行1000个并发。
在执行任务约1小时后，员工突然结冰，它不接受来自celery beat的新任务，这是我们的芹菜配置。
App = Celery('tasks')
class Conf:
BROKER_URL = 'amqp://<user>:<pass>@<host>:<port>/<vhost>'
CELERY_IGNORE_RESULT = True
CE
浏览 12提问于2015-02-24得票数 4
1回答
什么控制芹菜工人线？
、、、
我有一个芹菜工人过程，是从这个命令开始的：
celery multi start worker --app=xyz.celery --queue="xyz"
--pidfile="/var/run/xyz/%n.pid"
--pool=gevent --concurrency=500 --time-limit=1800
我有一些任务对于gevent并发是安全的，但对于OS线程则不安全，而且我看到一个间歇性错误，表明它们是由多个OS线程运行的。
查看辅助进程，它似乎总共有7个线程：
$ ps -ef | grep "celery worker"
n
浏览 0提问于2019-03-14得票数 2
回答已采纳
Docker run不会使用此命令启动conatiner。 celery -A proj worker -Ofair --concurrency=600 --without-gossip --time-limit=500 --pool=gevent -l info -n $(uuidgen -r)。 但是，它将以以下命令开始： celery -A proj worker -Ofair --concurrency=600 --without-gossip --time-limit=500 --pool=gevent -l info -n celery1 这是在Ubuntu 18.04 LTS上
浏览 8提问于2019-06-18得票数 0
回答已采纳
1回答
假设我在Procfile中声明了以下进程
web: newrelic-admin run-program python manage.py run_gunicorn -b 0.0.0.0:$PORT -w 9 -k gevent --max-requests 250 --preload --timeout 240
scheduler: python manage.py celery worker -B -E --maxtasksperchild=1000
worker: python manage.py celery worker -E --maxtasksperchild=1000
cele
浏览 1提问于2013-06-26得票数 14
在芹菜文档的并发部分中，它指出：
Eventlet和预叉工作人员的...mix，并根据兼容性或最佳工作方式路由任务
来源：
这意味着有可能让工作人员使用gevent/eventlet池实现，而另一个则使用预叉池。
使用celery multi创建多个工作人员时，可以指定池实现
celery -A proj multi start 2 -P gevent -c 1000
这将启动2个gevent工作人员，但在使用celery multi时，我如何能够在每个工作人员的基础上指定池实现，以便一个工作人员使用gevent池，而另一个工作人员使用pre叉？
celery multi文档没有提到任
浏览 4提问于2015-03-19得票数 7
回答已采纳
3回答
调整芹菜以达到高性能
、、、、
我试图发送400 HTTP请求并收集结果。我在逃离django。我的解决办法是用芹菜配葛兰。
要开始芹菜任务，我称之为get_reports：
def get_reports(self, clients, *args, **kw):
sub_tasks = []
for client in clients:
s = self.get_report_task.s(self, client, *args, **kw).set(queue='io_bound')
sub_tasks.append(s)
res = c
浏览 2提问于2013-09-17得票数 5
回答已采纳
1回答
用Django开始跑芹菜
、、、、
我正在使用Django 1.11和Celery 4.0.2。我们使用的是PaaS (OpenShift 3)，它运行在kubernetes -码头上。
我使用的是一个Python映像，它只知道如何在start上运行一个命令(如果失败，遵循退出代码-重新启动)，
如何在运行celery worker的同时运行Django，以确保其中一个进程的失败会杀死两个进程(worker和Django)
我使用wsgi和gevent启动Django
谢谢!
浏览 3提问于2017-04-15得票数 0
2回答
我正在使用Flask-SocketIO创建一个实时通知系统。有一个外部API服务器，它通过RPC在单独的线程中调用socketio服务器。RPC调用的方法创建了一个芹菜任务，当使用该任务时，它会调用一个调用socketio.emit()的方法。但是，该消息似乎并未实际发送，因为javascript客户端未收到任何消息。我的直觉告诉我，当Celery worker在一个单独的进程中运行时，被调用的socketio.emit()方法不会发送到连接的客户机，尽管这些对象存在于内存中的相同位置。服务器正在运行gevent，而Celery正在接收和完成日志中显示的任务。此外，我已经验证了socketio
浏览 1提问于2014-08-17得票数 7
我对Ubuntu中的Python应用程序开发很陌生。
我会尽量简明扼要，但请原谅，并问我的解释是否太不清楚，无法理解。如果你能给我答复，我将不胜感激。
我使用名为cyoa的"virtualenv“命令为项目创建了一个虚拟环境。
安装了PostGres DB，我已经创建了用户名和密码来连接到数据库。
环境变量如下：#!/bin/bash导出CELERY_RESULT_BACKEND='redis://localhost:6379/0‘_ DEBUG=False _KEY=’supersecretproductionkeyforapp‘导出DEBUG=False# Redis设置导
浏览 0提问于2016-10-12得票数 3
我经常遇到这个错误。
当我使用Gevent Thread运行celery worker时，就会发生这种情况。这个错误在第一次发生后开始频繁出现。
我使用的是Python 2.7 Celery 4.0.2 OS Ubuntu 14.04
浏览 0提问于2018-05-17得票数 0
我在当前项目的新提交中发现了一些问题: gevent池的芹菜工人拒绝处理新任务。
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'filters': {
'require_debug_false': {
'()': 'django.utils.log.RequireDebugFalse'
}
},
'formatters
浏览 0提问于2013-05-12得票数 0
回答已采纳
6回答
芹菜不会释放内存
、、、
看起来芹菜在任务完成后不会释放内存。每次任务完成时，都会有5m-10m的内存泄漏。因此，对于成千上万的任务，它很快就会用完所有的内存。
BROKER_URL = 'amqp://user@localhost:5672/vhost'
# CELERY_RESULT_BACKEND = 'amqp://user@localhost:5672/vhost'
CELERY_IMPORTS = (
'tasks.tasks',
)
CELERY_IGNORE_RESULT = True
CELERY_DISABLE_RATE_LIMITS =
浏览 1提问于2013-07-09得票数 17
回答已采纳
1回答
下面是我的Docker文件，我正在创建它的镜像并启动我的容器： ENTRYPOINT ["/usr/bin/docker-entrypoint.sh"] 我的docker-entrypoint.sh如下： set -eo pipefail
if [ "${#}" -ne 0 ]; then
exec "${@}"
else
gunicorn \
--bind "0.0.0.0:${SUPERSET_PORT}" \
--access-logfile '-' \
浏览 18提问于2021-07-21得票数 1
场景是使用RMDB id作为参数保存API请求的响应。我想获取从imdv-id tt0000001到tt9999999的所有电影信息。
现在我使用gevent来运行多个线程(gevent.joinall(线程))，速度不是很快。对于这类问题，有没有其他的解决方案，比如使用Celery+RabbitMQ？
浏览 2提问于2012-09-14得票数 0
1回答
我正在Heroku上构建一个Django项目。我知道gunicorn被推荐作为and服务器，所以我需要一个事件循环类型的worker，为此我使用了gevent。似乎猴子补丁gevent为我做了大部分工作，所以我可以有并发，但我应该如何连接到RabbitMQ没有真正的线程或阻塞整个循环？
我对此感到困惑，因为Heroku自己推荐了gunicorn，celery和RabbitMQ，但我不明白所有这些是如何协同工作的。
浏览 0提问于2012-09-19得票数 3
1回答
问题
如何从芹菜中解出ConnectionError: Too many heartbeats missed？
示例误差
[2013-02-11 15:15:38,513: ERROR/MainProcess] Error in timer: ConnectionError('Too many heartbeats missed', None, None, None, '')
Traceback (most recent call last):
File "/app/.heroku/python/lib/python2.7/site-packages
浏览 7提问于2013-02-11得票数 11
回答已采纳
我正在使用：
好芹菜：
尝试将whats应用集成到我的系统中。
我已经能够成功地存储消息，并希望现在在守护程序模式下运行celery，而不是在终端中运行
要正常运行它，我们使用: celery multi gevent -c 2 -l info --yowconfig:conf_wasap
为了运行守护进程模式，我们使用: sudo /etc/init.d/celeryd start
这里，我如何将配置文件作为参数传递，或者是否有一种方法可以消除将其作为参数传递的依赖性，而不是读取脚本中的文件。
浏览 2提问于2016-02-17得票数 0
1回答
我使用celery(3.1版)任务和django( 1.6.5版)运行爬虫应用程序。使用其orm)。命令是：
celery -A crawlerproj worker -P gevent -c 1000 -l info
通过使用Ubuntu中的“htop”，我看到celery总是有3个进程。另外还有5个mysqldb进程。我也不知道原因。芹菜和mysqldb的数量能减少吗？
我的vps有1G内存和1核。这是htop结果的快照。
浏览 0提问于2014-09-02得票数 2
对于多处理池，我可以使用参数'-c‘来指定工作进程的数量。就像复写显示的那样。
celery worker -A celerytasks.celery_worker_init -c 5 --loglevel=info
但是对于gevent池，参数'-c‘用于指定绿号。如何启动多个工作进程？
或者，如果我必须启动多个唤醒程序，而不是一个具有多个进程的工作人员，那么我可以使用一个命令来完成这个任务吗？
浏览 2提问于2016-05-24得票数 3
回答已采纳
问题
在通过芹菜的定期任务调度器运行任务之后，为什么RabbitMQ中还有这么多未使用的队列？
设置
在Heroku上运行Django web应用程序
通过芹菜节拍安排的任务
通过芹菜工人执行的任务
Message是来自RabbitMQ的ClouldAMQP
Procfile
web: gunicorn --workers=2 --worker-class=gevent --bind=0.0.0.0:$PORT project_name.wsgi:application
scheduler: python manage.py celery worker --loglev
浏览 6提问于2012-11-07得票数 3
回答已采纳
1回答
我使用celery来处理具有C接口的easysnmp库的snmp请求。问题是在I/O上浪费了大量的时间。我知道在这种情况下我应该使用eventlet或gevent，但我不知道当第三方库使用C扩展时如何处理修补。
浏览 0提问于2018-05-28得票数 0
1回答
我有以下文件夹结构
git_repo_main
└───my_sub_project
│ celery_app.py
│ __init__.py
│
├───calcs
│ │ math_funcs.py -> from my_sub_project.celery_app import app
│ │ __init__.py
│
├───piplines
│ run_math_pipeline.py -> from
浏览 0提问于2019-10-17得票数 0
有人知道Heroku在deploy上做了什么改变吗？我有一个安装了Ubuntu11.10的本地dev机器，我的项目安装到venv中，所有的包都通过pip管理。对应的requirements.txt在我的repo中，并在推送时发送给Heroku。我的本地计算机和Heroku都在访问AWS上的同一个RDS实例。
在本地运行Django dev服务器(manage.py运行服务器)会得到一个工作页面。尝试(通过我的Procfile)在Heroku上运行dev服务器会在{% url foobar%}处的模板中导致错误，如下所示：
Caught TypeError while rendering: &#
浏览 5提问于2012-03-20得票数 4
回答已采纳
1回答
我有4个启动django项目的脚本文件。我想在系统启动时在后台运行这些脚本。我创建了一个触发其他脚本的脚本，并尝试了sudo crontab -e @reboot /that/one/script.sh。它正在启动(我理解它是因为端口是开放的)，但它没有在后台继续运行。当我进入浏览器时，我可以看到nginx默认页面，它正在打开端口，但我的站点不能继续工作。
script1
celery -A MyProject flower --loglevel=info
script2
uswgi --socket mysite.sock --module MyProject.wsgi --chmod-so
浏览 1提问于2020-03-03得票数 0
1回答
我正在数字海洋服务器上运行Django应用程序(构建在Django Rest框架上)，具有以下特点：
4gb RAM
2个CPU
60 GB驱动器
我正在使用Gunicorn运行Django应用程序和芹菜来管理队列。数据库是MySQL。
正如我所看到的，CPU使用率确实很低，但内存使用量似乎很大。
部署之后，我注意到python3进程使用了更多的内存(大约75%)。每当我部署时，我都运行after_deploy脚本，其中包含以下内容：
service nginx restart
service gunicorn restart
chmod +x /mnt
浏览 1提问于2017-12-15得票数 6
回答已采纳
我在windows机器上运行celery worker (4.4版)，当我运行带有-P eventlet选项的worker时，它抛出了属性错误。错误日志如下：
pipenv run celery worker -A src.celery_app -l info -P eventlet --without-mingle --without-heartbeat --without-gossip -Q queue1 -n worker1
Traceback (most recent call last):
File "d:\python37\lib\runpy.py", line
浏览 0提问于2020-09-09得票数 2
1回答
使用celery，我已经为Redis创建了监听器，用于将所有写入事件都发送到Redis。基于这些事件，我将触发芹菜任务将数据从Redis迁移到DB。我使用了并发为1000的eventlet池。另外，我有5个芹菜队列来处理我的数据。 celery -A proj worker -l info -P eventlet -c 1000 -Q event_queue,vap_queue,client_queue,group_queue,ap_queue 在这里，我面临这样的问题，监听器能够接收来自Redis的所有写事件，而工作人员能够接收来自监听器的任务。但是，芹菜工作者在处理大量数据的同时也在拖延
浏览 42提问于2019-12-23得票数 1
2回答
对金字塔使用gevent
、、、
我正在建立一个使用金字塔的网站，我想从其他网站获取一些数据。因为可能会有urlopen的50+调用，所以我想使用gevent来加快速度。
下面是我到目前为止使用gevent得到的结果：
import urllib2
from gevent import monkey; monkey.patch_all()
from gevent import pool
gpool = gevent.pool.Pool()
def load_page(url):
response = urllib2.urlopen(url)
html = response.read()
re
浏览 4提问于2013-01-12得票数 1
回答已采纳
1回答
我正在尝试使用LaunchDarkly功能标志运行异步任务 当我第一次启动worker时，它接受最后一个标志值 但是，如果我在worker运行时更改功能标志值-它不会更新该值，它将保持不变 当我用-P gevent运行celery时，这个问题似乎已经解决了，但我们只在单个进程的上下文中运行
浏览 22提问于2019-06-02得票数 1
我有基于芹菜的任务队列，RabbitMQ作为代理。我每天要处理大约100条信息。我没有后台设置。
我以这样的方式开始任务主管：
broker = os.environ.get('AMQP_HOST', None)
app = Celery(broker=broker)
server = QueueServer((default_http_host, default_http_port), app)
..。我像这样开始工作：
broker = os.environ.get('AMQP_HOST', None)
app = Celery('worker
浏览 3提问于2016-03-05得票数 0
回答已采纳
1回答
我有一些任务，我想以一种并行的方式运行。它们几乎是100%的IO绑定，而不是cpu密集型(只需发出API请求)。
我在Docker环境中使用了芹菜/芹菜，并且刚刚将--pool=gevent添加到我的docker-复合文件中，但我也必须传递--beat。
当我启动我的应用程序时，我会得到以下错误：
celery.exceptions.ImproperlyConfigured: -B option doesn't work with eventlet/gevent pools: use standalone beat instead.
有什么方法可以用芹菜拍打线执行吗？
浏览 0提问于2020-06-20得票数 3
回答已采纳
2回答
我在centos 6.5机器上以redis作为代理运行celery，配置如下：
app.conf.update(
CELERY_ENABLE_UTC=True,
CELERY_SEND_TASK_SENT_EVENT=True,
CELERY_ACCEPT_CONTENT=['msgpack', 'json', 'application/x-python-serialize'],
CELERY_TASK_SERIALIZER='msgpack',
CELERY_RESULT_SERIALIZ
浏览 0提问于2016-08-17得票数 1
1回答
我们用的是
django-celery==3.1.10
celery==3.1.20
python 2.7.13
我们已经编写了一个CustomDataBaseScheduler来调度任务，它可以很好地按时安排任务。我们以init脚本的形式运行CeleryBeat进程，但celeryBeat在一天内消耗了系统的全部内存，即24 in。
我试着在celery节拍进程上运行pmap，但是它显示anon占用了最多的内存。
有人能帮我调试和修复这个问题吗？
浏览 2提问于2017-07-28得票数 11
回答已采纳
1回答
gevent与多进程的区别
、、、、
我正在学习如何使我的脚本运行得更快。我认为平行是个好办法。所以我尝试gevent和多重处理。但我对这是不同的结果感到困惑。让我举两个我遇到的例子，
例1：
a=np.zeros([3])
def f(i):
a[i]=1
print a
def f_para():
p=multiprocessing.Pool()
p.map(f, range(3))
def f_asy():
threads = [gevent.spawn(f, i) for i in xrange(3)]
gevent.joinall(threads)
f_para()
[
浏览 4提问于2016-10-01得票数 4
我刚刚花了2个小时试图弄清楚为什么django芹菜停止工作。
Celery将启动，但会停止打印配置项，这意味着它没有正确启动。日志将只包含
The celery.decorators module along with the magic keyword arguments, are deprecated, and will be removed in version 3.0.
Please use the celery.task module instead of celery.decorators, and the task.request should be used instead o
浏览 2提问于2012-07-07得票数 0
回答已采纳
2回答
我有一个Python/Django项目运行在uwsgi/nginx上。对于异步任务，我们使用rabbitmq/celeryd和supervisord来管理所有守护进程。
版本：
python: 2.7
django: 1.9.7
芹菜: 3.1.23
姜戈-芹菜: 3.1.17
芹菜有10个Direct类型的队列(例如queue1，queue2，.)每个队列由一个单独的celeryd进程处理，该进程通过监督管理。每个监督each过程如下所示
[program:app_queue_worker]
command=/var/www/myproj/venv/bin/celer
浏览 2提问于2017-03-09得票数 3
1回答
我希望：
启动异步任务(使用类似django-celery或Gevent)，
等待有限的时间来完成任务(1秒)，
然后继续工作而不终止任务。
我注意到了这个相关的线程；然而，在接受的答案中，当'g‘被销毁时，任务也被销毁了吗？我希望允许任务在后台运行，即使任务的创建者在等待了一段时间之后已经返回。
浏览 2提问于2013-10-02得票数 1
我有一个Flask web应用程序，有一些任务是长时间运行的(> 1分钟)。我想卸载这些从flask (阻止网络服务器等)，并将它们移动到外部任务。我设置了芹菜，并且能够从Flask运行这些任务。好的。
为了在任务完成时通知用户并返回结果，我想使用web套接字。这就是问题的症结所在。
我有一个正在运行的gevent websocket服务器，我的客户端连接到它。当我启动celery任务时，我传入客户端的会话ID，这样当我得到结果时，我就知道它们属于谁。
现在，我需要websocket服务器知道这些任务何时完成，查看结果，并将它们发送到适当的连接。
多么?这就是我完全迷失的地方。我可以用c
浏览 0提问于2013-08-08得票数 3
1回答
在Django项目中，我有一些任务是由芹菜负责的。
我使用禁忌来指定任务应该运行的时间，如下所示：
from celery.schedules import crontab
CELERY_BEAT_SCHEDULE = {
'task_a': {
'task': 'tasks.task_a',
'schedule': crontab(minute=0, hour='5,18'),
},
'task_b': {
'tas
浏览 8提问于2021-03-17得票数 0
1回答
在运行应用服务器的同时，如何运行给定的模块，因为我想同时运行一些不一定使用路由(可能是守护进程服务)的函数？
例如：
#some other route functions app.post(...)
#some other concurrent functions
def alarm():
'''
Run this service every X duration
'''
ALARM = 21
try:
while 1:
#checking time and
浏览 6提问于2014-06-03得票数 4
回答已采纳
1回答
我在我的开发服务器和生产服务器上使用相同的服务器，使用虚拟服务器。
我的问题是，芹菜不知道该在哪个项目中执行任务。我不希望在我的开发服务器上运行生产任务，反之亦然。
我试过使用不同的代理地址，但它不能正常工作：
生产主管脚本：
[program:production-celery]
command=/home/user/.virtualenvs/production.site.com/bin/celery --app=myproject.celeryconfig:app worker -E -n production --loglevel=INFO --without-mingle --wit
浏览 3提问于2016-09-29得票数 2
回答已采纳
我把姜戈和芹菜一起用。我需要关闭每天在协调世界时4点运行的celery.backend_cleanup。我一直在看文档，但找不到如何禁用它。下面是我的最后一次尝试：
celery.py
from __future__ import absolute_import, unicode_literals
from django.conf import settings
from celery import Celery
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE",
&#
浏览 0提问于2020-01-01得票数 2
1回答
我试图理解Gevent/Greenlet如何选择下一个要运行的绿色环境。线程使用OS Scheduler。Go运行时使用两个分层队列。
默认情况下，Gevent使用libevent来表示它的支点。，但是如果很多人都准备好了，那么libevent如何选择下一个要运行的小绿呢？
是随机的吗？
我已经读过他们的文档并在源代码上看到了。还是不知道。
更新:文本更改为确认Gevent使用libevent。这个问题仍然适用于利比文特。
浏览 4提问于2017-09-23得票数 0
我创建了一个web应用程序，用户可以运行多个脚本(芹菜任务)。
我浏览了，发现我必须使用--pool (prefork, eventlet or gevent)而不是solo，因为一次可以运行更多的脚本。
如果用户需要这样做，我需要的是能够终止正在运行的任务，因此我只需要使用prefork。我发现eventlet and gevent没有实现revoke方法。
现在问题来了。当我使用--pool运行eventlet or gevent时，任务将被接收和执行。但我不能像说的那样终止它。当我使用--pool运行prefork时，它应该能够终止任务，但是当我运行任务时，它只被接收到，甚至没有被执行。
浏览 4提问于2020-01-03得票数 0
1回答
我最近在使用Celery和Redis时遇到了一个问题:我在我的云Redis账户上使用了太多的连接。
我似乎已经通过更好的设置和更大的Redis计划解决了这个问题。
然而，这让我对Redis和Celery如何协同工作进行了一些实验，并且有一件事我不明白:由Python Redis模块创建的Redis ConnectionPool的数量。
我将Celery配置为使用Redis作为代理和结果后端。
下面是我的芹菜配置：
CELERY_TIMEZONE = 'Europe/Paris'
CELERY_BROKER_URL = REDIS_URL
CELERY_RESULT_BACKEN
浏览 2提问于2016-02-26得票数 25
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
