腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
PyOpenCL vs
Python
多
处理
?
python
、
opencl
、
hpc
、
pycuda
、
pyopencl
因此,我知道OpenCL可以用于使用图形
处理
器和中央
处理
器的
并行
处理
(与CUDA相反)。既然我想用图形
处理
器和中央
处理
器进行
并行
处理
,那么是使用
python
+ PyOpenCL/PyCUDA的多
处理
模块进行
并行
处理
,还是只使用PyOpenCL进行图形
处理
器和中央
处理
器的
并行
编程呢?我对此还很陌生,但凭直觉,我认为<e
浏览 2
提问于2016-09-17
得票数 2
1
回答
同时使用多
处理
和GNU
并行
?
python
、
concurrency
、
parallel-processing
、
python-multiprocessing
、
gnu-parallel
我有一个
Python
脚本,它目前正在使用多
处理
并行
执行任务。我的顾问建议我使用GNU
并行
来加快速度,因为
Python
程序总是在单个内核上执行。我应该保持多
处理
脚本的原样,并在上面使用GNU
并行
吗?还是应该删除多
处理
部分,然后使用GNU
并行
?有什么不同吗?
浏览 7
提问于2022-04-09
得票数 1
回答已采纳
1
回答
如何在
Python
中使用
并行
处理
过滤器?
python
、
parallel-processing
我知道在
Python
中,map等同于来自多
处理
模块的pool.map的
并行
处理
类。在
Python
的
并行
编程中是否有一个filter等效的?
浏览 1
提问于2019-09-07
得票数 5
1
回答
Shell +
Python
文件读写问题的
并行
化
python
、
bash
、
parallel-processing
我有一个项目,在这个项目中,我必须定期使用shell脚本对文件进行一些预
处理
。它必须按照项目要求和遗留原因这样做--我继承了这段代码的大部分。
处理
完这些文件后,输出文件将由
Python
脚本进一步
处理
。 有没有什么好的方法可以
并行
运行呢?现在,这是我的工作流程的样子。Once finished, call
Python
script, processing even more files.如果可以
并行
化一组(一个文件shell -->
Python
浏览 18
提问于2020-04-23
得票数 0
1
回答
并行
处理
-
Python
python
、
multithreading
、
multiprocessing
我在一个项目中工作,在这个项目中,一些进程需要很长时间才能完成(总共超过2小时),并且一些进程显然可以
并行
化。self.data[x][y] = Utils.shepard_euclidian(points, f, [xt, yt], 3) 插值点方法需要一段相关的时间才能结束,我调用它超过40次,我相信我可以
并行
运行一些调用因此,每个位置都明显独立于其他位置,所以我认为这是一个可以
并行
化的明显情况。问题是因为我看过
Python
,Cython等语言中的,但我不知道如何应用这是我的代码,我从来没有在实践中使用过多进程,所以在
浏览 0
提问于2014-01-06
得票数 0
1
回答
python
并行
处理
python
、
parallel-processing
我是
Python
的新手。我有2000个文件,每个大约100MB。我必须读取它们中的每一个,并将它们合并到一个大矩阵(或表)中。我可以使用
并行
处理
来节省一些时间吗?如果是,是如何实现的?我们有一个非常大的服务器,有1TB的RAM和几百个
处理
器。我怎样才能有效地利用它呢? 谢谢你的帮助。
浏览 2
提问于2011-11-17
得票数 2
回答已采纳
2
回答
巨蟒中央调度中的
并行
处理
?
python
、
parallel-processing
、
grand-central-dispatch
有没有一种在
Python
中使用类似于苹果的概念进行
并行
处理
的方法?从一开始,中央调度看起来就像是一种
处理
并行
处理
的好方法。如果
Python
没有一个基本等价的模块,那么在
Python
中有效实现的Grand Central Dispatch背后有哪些基本概念呢?我对Grand不太了解,因此我想知道是否使用了(1)在
Python
中还没有使用的范例,以及/或(2)是否可以在
Python
中实现。
浏览 9
提问于2011-10-31
得票数 5
回答已采纳
1
回答
在
Python
中选择更好的
并行
体系结构
parallel-processing
、
python-multithreading
、
python-multiprocessing
我正在使用
Python
解决数据争论问题,
Python
将脏的Excel文件
处理
成干净的Excel文件目的:引入
并行
/并发机制,一次
处理
多个文件。寻找实现目标的最佳
并行
方法
浏览 1
提问于2016-07-18
得票数 0
2
回答
并行
运行
Python
脚本,并等待所有脚本完成后再执行更多
并行
脚本
python
、
windows
、
python-2.7
、
batch-file
、
parallel-processing
我需要
并行
执行我的
Python
脚本,因此我使用以下批
处理
文件:start
python
C:\myfolder\2.py它工作得很好,但现在我需要在上述前三个完成后
并行
运行另外三个脚本。如何在同一批
处理
文件中指定?
浏览 181
提问于2018-06-20
得票数 4
1
回答
并行
处理
如何在多个
处理
器之间分配负载。或指定将由哪个
处理
器执行任务
python
、
python-3.x
、
python-2.7
我必须确定哪个
处理
器忙,并将任务发送到不忙的
处理
器。我必须使用
并行
python
执行程序,但我还必须确定将任务发送到哪个服务器。有没有人不知道我应该在
并行
处理
代码上使用什么样的条件?它是用
python
编写的,调用PP
浏览 1
提问于2013-02-20
得票数 0
1
回答
python
中的线程模块提供真正的
并行
性吗?
java
、
python
、
multithreading
、
parallel-processing
、
pthreads
通过使用
Python
中的线程模块创建线程,线程实际上是
并行
运行的吗?这些线程是在多个
处理
器上同时执行排序操作,还是通过这两个操作之间的抢占来实现
并行
?简单地说:
python
中的线程模块提供真正的
并行
性吗?这两个线程实际上是在多个可用的
处理
器上同时运行的吗? 还有,哪些语言利用了真正的
并行
性?
浏览 1
提问于2017-06-21
得票数 0
1
回答
Python
多重
处理
-
并行
处理
python
、
multiprocessing
我是
Python
多
处理
的新手,我正在尝试实现一些
并行
计算。[i].start() processes[i].join() 它现在真的会
并行
运行吗
浏览 4
提问于2016-11-06
得票数 0
1
回答
我们是否必须显式地使用RDDs和诸如foreach、parallelize之类的操作来在pyspark中执行
并行
处理
?
python
、
pyspark
、
parallel-processing
如果我们对group by,merge,for两个数据帧使用普通的
python
操作,而不是显式地使用map,reducebykey,groupbykey等,是否存在性能差异?前者(正常操作)是简单的顺序
处理
,而后者是
并行
处理
吗? 这是否意味着要激活
并行
处理
,我们必须显式使用RDDs?正常的数据帧使用不是
并行
处理
(尽管是在pyspark中完成的)?
浏览 1
提问于2021-10-26
得票数 0
1
回答
使用AWS EMR进行文件
处理
python
、
hadoop
、
parallel-processing
、
mapreduce
、
amazon-emr
对于我正在
处理
的这个问题,我需要架构建议。在gzipped文件夹中,我每隔15分钟就会收到日志文件。每一个都有大约100,000个额外的文件需要
处理
。我有一段
python
代码,它对每个文件执行相同的
处理
。没有map reduce代码。只是我们正在重新排列该文件夹中的数据。 我想使用Hadoop的
并行
处理
能力来更快地
处理
这些文件。因此,我的问题是,我是否总是必须编写map/ reduce代码才能使用hadoop的
并行
处理
能力,
浏览 0
提问于2014-05-28
得票数 3
1
回答
用于
并行
处理
的
Python
本机特性
python
、
python-3.x
、
parallel-processing
我被要求使用本机
python
特性编写一个示例
并行
处理
程序。我可以编写代码,但问题是--即使在搜索之后,我也无法在
python
中找到本机
并行
编程特性。 因为我们必须导入“多
处理
”模块--它不是本机的。已经检查了以下线程,但它们使用多
处理
:
浏览 3
提问于2017-02-08
得票数 2
回答已采纳
2
回答
一个Google App Engine
Python
实例可以
处理
多少个
并行
请求?
google-app-engine
一个Google App Engine
Python
实例可以
并行
处理
多少个线程/请求?我正在使用
python
27运行时,并且启用了线程安全选项(true)。是否存在限制
并行
性的限制或条件?需要澄清的是:这与Java或
Python
GAE SDK无关。
浏览 1
提问于2012-02-15
得票数 6
1
回答
扭矩PBS与
Python
多
处理
python
、
pbs
、
python-multiprocessing
、
torque
我有一个
Python
脚本,它在一个有512个CPU和4TB内存的服务器上运行。该脚本使用
Python
的Multiprocessing模块通过派生30个
并行
子进程来进行
并行
处理
。然后脚本将使用多
处理
模块进行
并行
化。2.将脚本改为串行
处理
,然后使用PBS提交30个具有不同
并行
化参数的作业。 有人能给我一些关于不同方法的利弊的线索吗?谢谢。
浏览 1
提问于2015-02-19
得票数 1
1
回答
java和
python
在
并行
处理
方面的不同
java
、
python
、
parallel-processing
、
forkjoinpool
我使用java.util.concurrent.ForkJoinPool编写
并行
处理
程序。在进行此程序时,我检查了top和htop,并注意到在top中只有一个java进程,而在htop中有许多进程。我的大四学生正在使用
python
编写
并行
处理
程序,他说,奇怪的是,top中只有一个进程。他还说,top中的"CPU使用率“通常超过90%。但是我的程序只使用了68%。我认为原因在于如何实现java和
python
之间的
并行
处理
。但我不知道这是否正确。
浏览 1
提问于2018-06-26
得票数 2
回答已采纳
1
回答
不同初始猜测的
并行
openmdao优化
openmdao
为了使这个过程更快,我目前使用
Python
的多
处理
模块,并在一个
并行
子进程中解决每个openm道问题。但是,随着我的问题变得更加复杂,我也想
并行
化优化过程(通过使用ParallelGroup和/或分布式组件),而且我不确定mpi是否会以奇怪的方式与
Python
的多
处理
进行交互。在解决单个问题和多个问题实例时,是否有任何openmdao特性同时
处理
并行
性?
浏览 1
提问于2015-11-04
得票数 0
回答已采纳
1
回答
Python
-基于列表的
并行
动态
处理
python
、
multithreading
、
python-multiprocessing
我正在尝试创建一种方法来同时运行列表中的多个查询,因此我正在使用线程库。为此,我有以下代码: from threading import Thread, Lockclass DatabaseWorker(Thread)
浏览 11
提问于2021-01-21
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python 多处理和并行编程指北
基于Python的“地理处理”并行方案
Python中的并行处理:实例编程指南
Python数据预处理:使用Dask和Numba并行化加速
MPP大规模并行处理架构详解
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券