使用ThreadPoolExecutor的Cython nogil没有提供加速
ThreadPoolExecutor是Python标准库中的一个线程池实现，用于管理和调度多个线程执行任务。Cython是一种用于编写C扩展的Python语言的扩展，它允许在Python中使用C语言的特性和性能。
在Cython中使用ThreadPoolExecutor的nogil选项，可以在多线程执行任务时避免全局解释器锁（Global Interpreter Lock，GIL）的影响，从而提高并发执行的效率。
具体来说，nogil是Cython中的一个关键字，用于告诉编译器在特定的代码块中不要获取GIL。通过在Cython代码中使用nogil，可以使得多个线程在执行任务时可以同时访问Python对象，从而提高并发性能。
然而，需要注意的是，使用ThreadPoolExecutor的Cython nogil并不能直接提供加速效果。它只是在特定情况下，通过避免GIL的影响，提高了并发执行的效率。在某些特定的CPU密集型任务中，可能会获得一定的性能提升。但对于IO密集型任务或者涉及到Python对象的操作，由于GIL的存在，使用ThreadPoolExecutor的Cython nogil并不能带来明显的加速效果。
总结起来，ThreadPoolExecutor的Cython nogil可以在特定情况下提高多线程并发执行的效率，但并不是适用于所有场景的通用加速方法。在实际应用中，需要根据具体的任务类型和需求来选择合适的并发执行策略和工具。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云云服务器（Elastic Cloud Server，ECS）：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
- 腾讯云函数计算（Serverless Cloud Function，SCF）：https://cloud.tencent.com/product/scf
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云对象存储（Tencent Cloud Object Storage，COS）：https://cloud.tencent.com/product/cos
- 腾讯云人工智能（Tencent AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（Tencent IoT Hub）：https://cloud.tencent.com/product/iothub
- 腾讯云移动开发（Tencent Mobile Development）：https://cloud.tencent.com/product/mobile
- 腾讯云区块链（Tencent Blockchain）：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙（Tencent Metaverse）：https://cloud.tencent.com/product/metaverse
相关·内容
我的假设是，如果我使用nogil指令用Cython编写代码，确实会绕过gil，并且我可以使用ThreadPoolExecutor来使用多个内核。我已经使用Barnes-Hut算法编写了一个简单的n-body模拟，并希望并行执行查找：# cython: wraparound=False
return np.a
浏览 17提问于2018-03-01得票数 4
回答已采纳
我已经读过这个问题和答案--尽管我的系统有多个内核，但Cython nogil with ThreadPoolExecutor not giving speedups和我的Cython代码也有类似的问题，没有得到预期的加速。我在Ubuntu 18.04实例上有4个物理核心，如果我在下面的代码中将作业数设为1，它的运行速度会比我设为4时更快。使用top查看CPU使用率，我发现CPU<
浏览 21提问于2019-06-11得票数 0
回答已采纳
我必须顺序地使用numpy数组的行，所以我使用了一个循环。我试着用prange来加速，但最后还是结冰了。我很可能做错了什么，在这种情况下，我可能误解了种族状况的含义。以下是IPython细胞的可复制代码：import numpy as np@cython.wraparound(False)
cpdef d
浏览 2提问于2019-11-18得票数 0
回答已采纳
1回答
尝试弄清楚如何使用Cython绕过GIL并为IO绑定任务并行加载文件。现在，我使用以下Cython代码尝试加载文件n0.npy、n1.py……n100.npy cdef int i
with gil:
retu
浏览 6提问于2017-06-23得票数 4
我尝试使用prange来加速代码，但是初始版本的时间开销几乎是一样的。最初的版本如下：import cython
double complex exp(double complex)
浏览 1提问于2020-06-15得票数 1
回答已采纳
1回答
我有一个C++类，它使用了一些使用std：：线程的方法，这些线程是我通过Cython使Python可以访问的。你知道在我的Cython代码中我想把nogill指令放在哪里吗？我是想在声明类方法时还是在创建Cython包装类时使用它？我使用了以下Cython文档中的示例类：cdef extern from "Rectangle.h" namespa
浏览 2提问于2017-03-13得票数 9
回答已采纳
1回答
我为Cython提供了以下内联函数 cdef int out=idx%maxNNstatic CYTHON_INLINEint __pyx_f_6kmc_cy_c_rate2recs_2(int __pyx_v_ma
浏览 3提问于2012-12-17得票数 9
2回答
如何在Cython中并行迭代(Python)列表？cdef int sum = 0
for i in prange(n, nogil=True):这会产生很多编译器错误，因为没有GIL的并行节显然不能与任何Python对象一起工作：-------------
浏览 1提问于2013-07-23得票数 10
回答已采纳
1回答
我试图将用c++编写的并行排序包装为模板，以便与任何数字类型的numpy数组一起使用。我试着用Cython来做这件事。我的问题是，我不知道如何将指向numpy数组数据(类型正确)的指针传递给c++模板。我认为我应该使用融合的数据类型，但我不太明白如何做到这一点。.pyx文件中的代码如下cdef extern from "test.cpp":
void in
浏览 5提问于2015-02-20得票数 9
回答已采纳
1回答
有一件事我不完全理解应用于cdef外挂的"nogil“： cdef int pthread_mutex_destroy(pthread_mutex_t *)
我不清楚这个nogil的效果，我在Cython的</
浏览 0提问于2018-03-07得票数 3
回答已采纳
我已经创建了一个Cython扩展类型，我想在nogil上下文中使用它。但是编译器总是抛出一个错误。下面是我试图做的一个简单的例子： 2 4 20 c1 = C1(4) 22
23 # But t
浏览 2提问于2020-05-27得票数 0
回答已采纳
我有一本字典，我想在Cython nogil函数中使用这个字典。现在我需要遍历my_dict的键，如果值在list中，就遍历它。但是，在Cython中，我也想在nogil中实现相同的功能。因为，在nogil中不允许使用python对象，所以我都被困在这里了。with n
浏览 0提问于2015-08-28得票数 16
回答已采纳
这个C函数使用OpenMP创建多个线程。每个线程都使用cython中的回调来调用python函数P1，以便并行运行。这些P1函数返回一个要抛回C代码中的值。问题是:如何使用内置C多线程的cython回调正确地调用P1。我现在非常清楚Python中的GIL，以及Cython中的with/nogil：我在这里读到的文章仅仅是单方面的通信Py
浏览 4提问于2015-03-24得票数 2
我想设计一个cdef类，它的方法可以并行运行，因此我需要将它们设置为nogil。我知道我可以在cdef方法中这样做，但是由于某些原因，我无法理解我不能对cpdef方法做同样的事情。这尤其失败。cdef class Test: def __init__(self): cpdef int incr(self) nogil这有点令人惊讶，因为在普通的cpdef函数中，允许使用nogil属性：
浏览 3提问于2016-06-16得票数 8
回答已采纳
cdef double testB(double[:] x) nogil: cdef double xx[2] testB(xx)
如果使用gil，则可以很好地工作。是不是因为当传入c数组时，它会创建一个内存视图，而这样的创建操作实际上需要gil？所以内存视图不是完全的c对象
浏览 0提问于2015-03-25得票数 1
1回答
对于C++11，我一直在使用以下模式来实现带有并行迭代器的图形数据结构。节点只是索引，边是邻接数据结构中的条目。现在我想用Cython来尝试同样的概念。Cython提供了cython.parallel.prange函数，该函数使用OpenMP并行化一个范围内的循环。要使并行性发挥作用，需要使用nogil=True参数来停用Python的全局解释器锁。如果没
浏览 4提问于2013-07-23得票数 2
2回答
由于GIL是一个围绕解释器的锁，它会影响编译后的Python吗？我想知道是否有可能通过在执行之前编译我的python来克服cpython固有的多线程限制。希望这是有意义的，我没有遗漏一些显而易见的东西，也没有误解GIL是如何工作/影响执行的。
谢谢
浏览 3提问于2014-02-11得票数 1
回答已采纳
我有一个小小的可并行性的问题:我需要对24个cdef对象执行相同的操作。我知道我可以使用多进程，但是复制数据/启动一个新的进程只需要连续地进行计算，这样就什么都没有了。因此，openMP可能是一个更好的选择。multiprocess.map(f, list_of_cython_objects)
像下面这样的东西能起作用吗？我知道我必须创建一个指向cython对象
浏览 0提问于2018-08-29得票数 0
回答已采纳
我试着在cython中使用openmp。我需要在cython中做两件事：有谁知道如何在cython中做到这一点吗？from cython.parallel cimp
浏览 0提问于2019-09-17得票数 2
回答已采纳
对于m in 0，m_max，对于m_max的各种值(通常在400左右)，z和a。我需要快速完成这一操作。目前，这一步在我的代码中是最慢的，大约是2倍。然而，完整的代码要花费一天的时间来运行，所以将这个步骤的计算时间减少2可以节省大量的墙时间。我使用以下cython代码进行计算：cimport numpy as np
浏览 1提问于2015-09-01得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
