线程池Python在芹菜作业中的未来似乎是阻塞的
线程池是一种线程管理机制，可以在并发编程中提高性能和资源利用率。它可以维护一组线程，用于执行提交的任务，从而避免了频繁地创建和销毁线程的开销。
在Python中，线程池可以通过第三方库concurrent.futures来实现。该库提供了ThreadPoolExecutor类，可以方便地创建和管理线程池。
芹菜作业（Celery）是一个分布式任务队列框架，常用于处理异步任务。它可以与线程池结合使用，将任务提交给线程池进行执行，从而实现并发处理。
芹菜作业中使用线程池的未来可能是阻塞的，这意味着在某些情况下，任务的执行可能会受到阻塞而导致整体性能下降。这种阻塞可能是由于任务中存在耗时的IO操作或者某些任务的依赖关系导致的。
为了避免线程池的阻塞问题，可以考虑以下几个方面的优化策略：
- 异步IO：将耗时的IO操作转化为异步的方式，例如使用异步库
asyncio来进行非阻塞的IO操作，从而释放线程池中的线程。 - 任务拆分与并行度控制：将大任务拆分成多个小任务，通过控制并行度来避免线程池中的任务阻塞。可以使用芹菜作业提供的任务拆分和调度机制来实现。
- 资源限制：合理设置线程池的最大线程数，避免线程数过多导致资源竞争和阻塞。
- 异常处理：在任务执行过程中，及时处理异常情况，避免异常的传递和堆积，从而保证线程池的稳定性和可靠性。
在腾讯云上，可以使用云服务器（CVM）提供的计算资源来搭建线程池和运行芹菜作业。同时，腾讯云还提供了丰富的云产品，例如对象存储（COS）、云数据库（TencentDB）、消息队列（CMQ）等，可以与线程池和芹菜作业结合使用，构建完整的云计算解决方案。
参考链接：
相关·内容
这是python 3.9和Django 3.2，在docker中运行。 我正在尝试在一个芹菜作业中运行一个期货池，其中的池是一个ThreadPool。我允许50名工人，这已经足够了。芹菜在一个码头容器中运行。期货是在循环中创建的。该循环从速率受限的API读取多个页面，并将数据写入到表中。<em
浏览 26提问于2021-08-09得票数 0
我决定在Java上重写我的web应用程序(以前是在Python上)。在我的应用程序中，我使用了非阻塞I/O，我有工作池(芹菜+ Eventlet线程)，在那里我传递由数百个API调用组成的任务。现在我正在使用Spring WebFlux，但是我不明白如何创建一个工作池来将我的任务传递给这个池，并且在得到结果之后进行一些
浏览 0提问于2017-12-28得票数 2
回答已采纳
2回答
我有一个线程池，我想不仅限制工作人员的最大数量，而且限制可以同时提交到线程池的最大作业数。限制作业的原因是因为作业的生成比线程池工作人员所能执行的要快得多，而且它可以迅速耗尽所有可用内存。我想如何与“阻塞”线程池进行接口：
with ThreadPoolExecutor(max_workers
浏览 12提问于2022-01-06得票数 0
回答已采纳
我正在尝试使用RabbitMQ中的芹菜来分发一些线性回归任务。使用示例add(x，y)函数可以很好地进行设置，但是当我实例化statsmodels OLS类时，例如工作进程在消耗100%
浏览 0提问于2013-06-25得票数 1
回答已采纳
6回答
芹菜工人数据库连接池
、、、
我用的是单独的芹菜(不是在Django内)。我计划在多台物理机器上运行一个工作任务类型。该任务执行以下操作
使多个数据库读写。我使用的是PostgreSQL，但这同样适用于使用连接的其他存储类型。在过去，我使用数据库连接池来避免在每个请求上创建一个新的数据库连接，或者避免将连接打开太长时间。然而，由于每个芹菜工人在一个单独的过程中运行，我不知
浏览 6提问于2013-01-25得票数 53
1:30，1:20:00，1:19:00小时，分钟，秒)有许多类似的问题，但它们没有将程序链接到指定的时间，而不仅仅是60秒间隔的情况。其他解决方案则采用其他语言。这个问题有什么python的解决方案吗？
浏览 0提问于2020-06-11得票数 0
回答已采纳
1回答
我目前正在实现一个在并发设置中工作的服务，它有一堆阻塞方法作为操作。有什么简单的方法可以让线程池返回不可取消<em
浏览 1提问于2015-08-23得票数 0
3回答
假设我从一些URL下载了一个(可能很大的)图片列表。我正在使用Scala，所以我要做的是：val urls: List[String如果我有100个映像要下载，这是一次创建100个线程，还是使用线程池？
谢谢你的建议！
浏览 4提问于2012-10-27得票数 68
回答已采纳
1回答
我需要在Java中管理大量的串行调度队列。每个引擎模块都需要一些引擎模块来管理自己的运行循环(其中一些模块可能很快完成，另一些模块可能会阻塞很长时间)。提交给每个引擎的作业必须按顺序运行。理想情况下，每个引擎都有一个线程池，该线程池在0到1个线程之间进行伸缩，使得ExecutorService既可以是串行的，也可以在有数百个线程的</em
浏览 2提问于2017-04-03得票数 1
回答已采纳
2回答
线程池与多个单独的线程
、、、、
首先，我为每个组创建了一个专用线程，它将从作业队列中获取数据，对其进行处理，然后进入阻塞状态(使用链接阻塞队列)。但是我的前辈建议我应该使用线程池，因为这样线程不会被阻塞，并且可以被其他组使用来处理。
但问题是，即时消息获取的数据足够快，线程处理数据所需的时间足够长，可能不会进入阻塞模式。这还将保证数据按顺序处理(作业1
浏览 0提问于2012-07-28得票数 8
回答已采纳
1回答
线程池执行器使用用于未来任务的线程数。它至少分配一个线程，直到run()或调用()返回为止。2)由于线程不会阻塞IO，它们将退出run/call方法。然后谁负责调用他们的处理程序。我的问题是如何使用基于Java的HTTP客户端请求和线程<
浏览 1提问于2013-05-16得票数 0
当前，作业被添加到发布/子队列中，并由各种工作进程处理。然后，这些工作人员将pub/sub消息发送回侦听器，侦听器将状态/结果存储在postgres数据库中。我正在寻找使用芹菜来简化事情，并允许更容易的缩放。
使用celery_app.send_task，提交工作和获得结果并不是芹菜中的问题。这方面的主要限制似乎是db连接池限制，因为在某些情况下，辅助
浏览 0提问于2021-04-28得票数 1
回答已采纳
1回答
在我的Python 3应用程序中，我必须处理许多不应该阻塞主线程的小型(同时) I/O任务，因此我想使用线程池：
from concurrent.futures import ThreadPoolExecutor这很好，作业是在线程池的线程中提交和启动的，任务执行它们应该做的事情。现在，在读取时，这个
浏览 5提问于2020-09-17得票数 1
回答已采纳
2回答
用例是-不同的作业集，分为3种类型，进入阻塞队列，有3个线程或一个线程组用于消费。队列中的作业CT1、CT2、CT3CT1流程A1-作业CT3进程c1-cn作业
浏览 2提问于2014-05-15得票数 0
对于gevent池，我们可以使用参数'-c‘来指定绿灯号。如下所示。celery worker -A celerytasks.celery_worker_init -P gevent -c 1000 --loglevel=info
但它的固有价值是什么呢？
浏览 2提问于2016-05-24得票数 4
回答已采纳
1回答
事件驱动线程创建
、、、
我一直在试着用各种方法解决以下问题，但没有结果。当K.py被执行时，它会生成一些信息，比如一个国家名称。现在，在其他模块(数百个)中，有一些模块可以使用由K.py作为输入传递给它们的信息(例如，国家名称)来执行。当所有模块都已完成执行时，我应该能够做出判断(即运行K.py必须阻塞，直到已触发的扩展模块二叉树被“连接”为止)。如果对于每个信息I和可运行的脚本S(
浏览 9提问于2011-07-17得票数 0
1回答
我想用芹菜来远程控制这个- AMQP似乎是从一个中心位置控制许多Twisted应用程序的理想方法，我想利用芹菜基于任务的特性，例如任务重试，子任务等等。为了保持简单，我使用了芹菜的“单独”流程池实现，这不会为任务工作者提供一个新的流程。
当我尝试使用芹菜任务初始化ProcessProtocol (即启动外部进程)时，我的问题就会发生。下面是一些示例代码，基于ProcessProtocol文档
浏览 2提问于2011-11-15得票数 12
回答已采纳
因此，我有一个问题，我正试图以一种特殊的方式解决，但我不知道它有多难实现。我想使用Python3.4的异步/协同特性来使用阻塞的http库(比如请求)或任何执行类似于aws的boto请求的Python来触发许多并发的http请求。我知道run_in_executor()方法可以在线程/进程中运行任务，但我想避免这种情况。
我想使用Linux/Unix内核中</e
浏览 0提问于2015-08-26得票数 0
回答已采纳
2回答
最近我一直在用烧瓶在python上做一个宠物项目。它是一个简单的pastebin，具有服务器端语法，突出对pygments的支持。不管名称如何，这也可以应用于与CPU绑定的任务，这些任务可以委托给另一个工作人员(线程、进程等)，然后非阻塞地等待以获得结果。由于方便，我决定使用gevent进行异步工作，并想知道如何在异步环境(使用期货、芹菜等)中处理CPU绑定的任务。
如何将异步执行模型(在本例<em
浏览 5提问于2013-04-12得票数 17
回答已采纳
有一个固定的线程池(让它和size=100一起使用)，我想在我的应用程序中使用它来执行所有的任务。它用于限制服务器负载。假设我现在提交第二个任务。它将只<em
浏览 2提问于2012-07-24得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
