腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
任务
管理器
并行
计算
、
、
、
我需要在
python
中运行一些
并行
计算。我能想到的唯一兼容的方法是多进程/叉子模型,由于以下几个原因,这个模型不太理想:
任务
管理器负责调度和限制并发
任务
的数量。等待其他
任务</e
浏览 4
提问于2016-05-09
得票数 3
2
回答
Python
的‘未来’的`DummyExecutor`
、
、
、
、
Python
的futures包允许我们享受
并行
执行
任务
的ThreadPoolExecutor和ProcessPoolExecutor。但是,对于调试,有时用虚拟
并行
临时替换真正的
并行
是有用的,虚拟
并行
在主线程中以串行方式执行
任务
,而不会产生任何线程或进程。 有没有DummyExecutor的实现?
浏览 2
提问于2012-05-03
得票数 19
回答已采纳
1
回答
朱莉娅>=1.3和
Python
3.x多线程模型的比较
、
、
、
我想从用户的角度理解JuliaPython1.3和
Python
3在多线程编程模型方面的差异。一个比另一个更实用/提供更高层次的功能吗? 一种比另一种更灵活(例如,它可以适用于更广泛的一组案件)?
浏览 1
提问于2020-01-20
得票数 6
回答已采纳
1
回答
从日志文件中提取数据
、
、
、
最初,我打算用
Python
来完成这个
任务
。后来,我开始考虑如何最快地完成这项
任务
。这就引出了
并行
编程。我记得在某个地方听说
Python
不可能是真正的
并行
。到目前为止,我是一个专业的程序员。我已经用Java玩了一段时间了,我正在考虑用Java进行
并行
编程来执行这个
任务
。我想知道什么是完成这项
任务
最快的方法?
浏览 0
提问于2014-01-17
得票数 -1
回答已采纳
2
回答
二叉树的
并行
编程
、
、
、
、
我对
python
和
并行
编程非常陌生。我有一棵像这样的二叉树: 我的
任务
是对每个节点进行平方并替换节点中的值,但是必须在父节点之前对子节点进行平方(即所有子
任务
都应该在父
任务
之前执行-- 4,5,6和7将首先使用线程被平方,然后是2和3 ),并且所有相同级别的节点都应该
并行
地执行平方
任务
。如何
并行
地将此函数应用于每个节点?同时,我的意思是使用
python
的多处理方面。
浏览 1
提问于2016-06-20
得票数 1
回答已采纳
1
回答
IO绑定
任务
多线程和CPU绑定
任务
多处理
、
介绍了多线程和多线程处理,但它没有说明什么是一般有效的,还是只在
Python
环境中有效。例如,它说: 并发性既包括多处理(适合于CPU绑定
任务
),也包括线程(适合于IO绑定
任务
)。为什么多线程一般不适合于CPU绑定
任务
和IO绑定
任务
的多处理?AFAIK和AFAIK都可以有效地用于这两项
任务
。两者之间的决定取决于其他条件,例如
任务
粒度、共享状态的数量和
任务
之间的执行顺序依赖,以及进程/线程创建成本(对于进程来说,特别是在某些OSes中)。上面
浏览 2
提问于2020-03-03
得票数 4
1
回答
同时使用多处理和GNU
并行
?
、
、
、
、
我有一个
Python
脚本,它目前正在使用多处理
并行
执行
任务
。我的顾问建议我使用GNU
并行
来加快速度,因为
Python
程序总是在单个内核上执行。我应该保持多处理脚本的原样,并在上面使用GNU
并行
吗?还是应该删除多处理部分,然后使用GNU
并行
?有什么不同吗?
浏览 7
提问于2022-04-09
得票数 1
回答已采纳
1
回答
并行
处理如何在多个处理器之间分配负载。或指定将由哪个处理器执行
任务
、
、
我必须确定哪个处理器忙,并将
任务
发送到不忙的处理器。我必须使用
并行
python
执行程序,但我还必须确定将
任务
发送到哪个服务器。有没有人不知道我应该在
并行
处理代码上使用什么样的条件?它是用
python
编写的,调用PP
浏览 1
提问于2013-02-20
得票数 0
2
回答
如何在fabric中
并行
执行多个
任务
、
、
我知道,通过使用-P开关或@parallel标记,我可以在多台主机上
并行
运行
任务
。我试图在同一台主机上
并行
执行多个长期运行的
任务
:def task1():def task2():def backup_all(): execute(task2)如何使用fabric在同一主机上
并行
启动我知道我可
浏览 3
提问于2014-03-27
得票数 7
回答已采纳
1
回答
从Java在GPU上运行
Python
代码
、
、
、
我目前正在进行一个java项目,可以在几个GPU上运行
python
任务
(小型机器学习
任务
)。Java应该接受一个
任务
并尝试将其
并行
化。我知道我可以使用OpenCL\CUDA在GPU上执行
任务
,我可以使用几个库来运行Java中的
Python
代码。我现在看到的唯一方法就是使用PyCUDA编写
Python
代码,然后在Java语言中运行它。但我不确定是否有可能通过Java在GPU上
并行
Python
代码。
浏览 6
提问于2018-03-16
得票数 0
1
回答
当我使用多线程时,什么能减缓我的程序?
、
我正在编写一个从网站下载数据的程序(eve-central.com)。当我发送带有一些参数的GET请求时,它返回xml。问题是,我需要发出大约7080个这样的请求,因为我不能不止一次指定typeid参数。 import xmltodict, urllib3 for typeid in typeid
浏览 3
提问于2015-03-02
得票数 1
回答已采纳
1
回答
将使用rpy2的
python
代码
并行
化的最有效方法是什么?
、
、
、
、
我使用的是
python
3,在其中,我使用rpy2包访问R,传入完成繁重计算的R代码,并将结果返回给
python
。特别是,我正在使用R (documentation )的lfe函数。我想知道哪个选项更好:在
python
中进行
并行
化还是在R中进行
并行
化,这有关系吗?为什么我们要怀疑其中一个比另一个更有效呢?谢谢。
浏览 18
提问于2017-02-03
得票数 1
回答已采纳
2
回答
Dask分布式-如何运行每个工作人员一个
任务
,使该
任务
在所有核心上运行的工人可用?
、
、
、
、
我对使用distributed
python
库非常陌生。我有4名工作人员,我已经成功地启动了一些
并行
运行,为每个工作人员使用了14个内核(在现有的16个可用内核中),从而导致4*14=56
任务
并行
运行。但是,如果我想让每个工人同时完成一项
任务
的话,该如何进行呢?通过这种方式,我期望在工作人员上
并行
使用14个核来完成一项
任务
。
浏览 3
提问于2017-07-12
得票数 5
回答已采纳
2
回答
在
Python
中使用协程进行
并行
编程
、
、
、
大多数情况下,并发
任务
很容易
并行
化。在语言中,使用goroutines执行
并行
任务
是很容易的。有没有办法在
Python
中做同样的事情,例如使用协程来创建进程并同步它们?
浏览 5
提问于2011-06-30
得票数 5
回答已采纳
1
回答
使用concurrent.futures的
Python
多线程/多处理非常慢
、
、
我试图使用多线程和/或多重处理来在某种程度上加快我的脚本速度。本质上,我有一个从CSV中读取的10,000个子网的列表,我想将这些子网转换成IPv4对象,然后存储在数组中。aclsConverted = [] aclsConverted.append(ipaddress.ip_network(ip)) convertToIP(y['srcSubnet']) 如果我尝试使用concurrent.futures线程,它可以工作,但速度是3-
浏览 1
提问于2019-11-06
得票数 6
1
回答
资源需求过程是否分为多个过程?
、
、
、
这些实例是
python
创建的线程。
浏览 1
提问于2018-09-30
得票数 1
回答已采纳
1
回答
如何使用PySpark在桌面本地文件夹上的目录中
并行
处理文件(pdf、docs、txt、xls)?
、
、
、
我不想使用
python
编程方法,这是非常耗时的。我想使用某种分布式
并行
处理来完成这项
任务
。我想做下面的事 将文件名和内容(提取的文本)存储在dataframe中。我已经使用普通的
python
脚本完成了上面的
任务
。但是我想使用Spark/pySpark来执行上面的
任务
。我从来没有使用过星火,所以需要一些指导,什么可能是
浏览 1
提问于2019-04-26
得票数 0
1
回答
在
任务
队列为空后调用脚本
我正在运行一个脚本,该脚本启动了几个
任务
: taskqueue.add(url='/example',params={'num': i}) 据我所知,这些
任务
是
并行
运行的。有没有什么方法可以让AppEngine在我刚插入队列的所有
任务
都完成之后运行一个特定的
任务
/
python
文件?我想发送一个标志给在上一次循环迭代中调用的
任务
,但如果
任务
浏览 3
提问于2010-11-19
得票数 5
回答已采纳
1
回答
从具有平行态的HFSM到Camunda?
、
、
、
、
我的
任务
是实现具有
并行
状态的HFSM,以及在
Python
中转换到多个
并行
状态的能力。不幸的是,我找不到支持这一点的库。我被告知去调查卡蒙达。我很难理解
并行
HFSM与Camunda之间的关系?有没有办法在Camunda中实现
并行
的HFSM?
浏览 32
提问于2021-09-14
得票数 2
回答已采纳
5
回答
Python
中的
并行
性
、
、
、
在
Python
中实现
并行
性的选择是什么?我想在一些非常大的栅格上执行一些CPU绑定计算,并希望
并行
化它们。来自C背景,我熟悉三种
并行
处理方法: 在
Python
中,有哪些方法可用,它们的特点是什么?实现共享内存
并行
的首选方法是什么?我听过有人提到GIL的问题,也
浏览 11
提问于2010-06-07
得票数 26
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
聊聊在Python如何实现并行
编程字典-Python并发与并行
Python 多处理和并行编程指北
基于Python的“地理处理”并行方案
一行 Python 代码实现并行
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券