在我的python代码中，我使用了抓取python，并尝试在ope python脚本中打开3个站点。
我现在的代码是：
from grab import Grab
...
g = Grab(interface=ip, headers=headers)
a = g.go('http://site1.com');
g = Grab(interface=ip, headers=headers)
b = g.go('http://site2.com');
g = Grab(interface=ip, headers=headers)
c = g.go('
浏览 2提问于2013-12-04得票数 0
1回答
我有一个python脚本，它具有较高的运行时间(在单个虚拟核心计算机上测试单个脚本的时间为4天)，它基于我们提供的输入参数对一些文件列表起作用。
我想测试的参数列表非常长，并且由于基础设施的高成本，按顺序运行每个参数都是不可行的。
所以我试着在我的12台核心机器上独立运行脚本，使用不同的参数。
nohup python script.py 1 &
nohup python script.py 2 &
再多8次..。考虑到每个进程将独立地分配给每个核心，而2个核心将处于待机状态，因为脚本将在其中工作的文件没有重叠，因此不会出现任何争用条件或死锁，因为我们传递给所有脚本的论点是不同
浏览 6提问于2016-06-02得票数 2
我正在尝试运行一个python脚本，其中一部分代码将根据SLURM环境变量被并行化。我不认为确切的代码是重要的，但作为参考，我想通过来训练我的网络。
现在，问题是我需要通过srun运行我的脚本，但是这会产生我不想要的脚本的多个并行实例。
最基本的例子是：
#!/bin/sh
#SBATCH -N 2
#SBATCH --ntasks=2
srun python myscript.py
现在我将有2个节点和2个任务，这意味着当我运行python myscript.py时，将有2个myscript.py实例并行运行。
然而，这不是我想要的。我希望只有一个运行myscript.py的实例，但是它应
浏览 2提问于2020-05-19得票数 2
回答已采纳
对于一些项目，我将从Python转换到R，我很难理解R中的RAM管理。
我有两个简单的问题
我们能看到R目前使用了多少RAM吗？就像在Spyder一样，人们可以看到，比方说，20%的当前RAM是满的。这将使我能够理解是否可以用代码移动一个，或者内存崩溃是否接近。
我是否需要设置R可以使用的最大内存量，还是一切都是自动的，就像Python中的那样( Spyder需要它就吃RAM )？
非常感谢！
浏览 7提问于2016-10-06得票数 0
回答已采纳
我正在尝试并行化几个动态生命周期分析(就像10...while一样，我应该运行超过1000个……)我得到了这个
Can't expand MemType 1: jcol 19852
Can't expand MemType 0: jcol 17930
multiprocessing.pool.RemoteTraceback:
"""
Traceback (most recent call last):
File "/home/giuseppec/miniconda3/envs/bw2/lib/python3.4/multiprocessin
浏览 4提问于2016-04-22得票数 0
假设我使用python文件运行nohup作业：
nohup python -u train_model.py 2>&1&
如果我更改了python文件并保存它，nohup作业会受到影响吗？
浏览 2提问于2021-04-29得票数 0
回答已采纳
1回答
我正在多次运行一个涉及spark并行化的程序。这个程序在最初的几次迭代中运行良好，但由于内存问题而崩溃。我使用的是Spark 2.2.0和Python2.7，我在亚马逊EC2上运行我的测试，内存为30g。
下面是我的Spark设置：
conf = pyspark.SparkConf()
conf.set("spark.executor.memory", '4g')
conf.set('spark.executor.cores', '16')
conf.set('spark.cores.max', '16&#
浏览 0提问于2017-10-12得票数 1
我使用python多处理来并行运行8个pytorch进程(针对8个CPU核心和8个GPU线程)。但它消耗了48个GPU和24+图形处理器线程。谁有一些关于如何将48个CPU和24+图形处理器减少到8个CPU核心和8个GPU线程的线索？ htop screenshot (py38) [ec2-user@ip current]$ nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 450.119.03 Driver Version: 45
浏览 43提问于2021-07-13得票数 0
回答已采纳
2回答
我正在用python开发一个使用numpy和pandas的数据分析器。我将部署大量这样的工作程序，所以我想让它保持轻量级。
我尝试使用以下代码进行检查：
import logging
import resource
logging.basicConfig(level=logging.DEBUG)
def printmemory(msg):
currentmemory = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
logging.debug(msg+': total memory:%r Mb' % (i
浏览 0提问于2014-01-22得票数 7
所以我从一堆不同的文件中读取了很多数据。主要的速度障碍之一是读取数据。问题是，这些文件位于各自的目录中，用于它们的时间步骤，其中包含该时间步骤的每个变量。基本上，我有一些像这样的功能。
def ReadFiles(path,points,directories,variables):
data = {}
for j in range(len(variables)):
data[variables[j]] = np.zeros((len(timeDirs),numPts))
for i in range(len(timeDirs)):
tfi
浏览 2提问于2016-02-10得票数 1
当我从Spark中的列表创建RDD时，当我尝试对其执行RDD操作时，它通常会导致Spark上下文关闭。
下面是导致崩溃的代码，堆栈跟踪在下面。任何的指导都非常感谢！
import sys
import numpy as np
import pyspark
SC = pyspark.SparkContext("local", "Crash app")
for i in xrange(10):
randArray = np.random.rand(10**i)
randRdd = SC.parallelize(randArray)
浏览 5提问于2015-04-23得票数 3
回答已采纳
在本地桌面上的一个目录中，我在不同的子目录中有大约9000份文件。目录的总大小约为15 is。我不想使用python编程方法，这是非常耗时的。我想使用某种分布式并行处理来完成这项任务。我想做下面的事
以并行方式摄入所有这些文件。
从这些文档中提取文本(我已经有了一个基于tika的python脚本来从这些文件中提取文本)
将文件名和内容(提取的文本)存储在dataframe中。
我已经使用普通的python脚本完成了上面的任务。但是我想使用Spark/pySpark来执行上面的任务。我从来没有使用过星火，所以需要一些指导，什么可能是路线图。
如何并行地将这些文档传递给Spar
浏览 1提问于2019-04-26得票数 0
3回答
我有一个python脚本domaincheck.py和一个json文件domain.json，如果我可以对任何domainname进行查找，这将为我提供查询域的name。
#Usage 1 : python domaincheck.py cnn.com
#Usage 2 : python domaincheck.py bbc.com
#Result 1 : CNN
#Result 2: BBC
现在，我有一个输入文件set_3.txt，它大约有65000行域。我编写了一个小的shell逻辑来进行批处理。
$for i in $(cat set_3.txt); do python
浏览 8提问于2016-04-14得票数 0
回答已采纳
1回答
make有-j标志，这使得make进程更快。
此标志告诉make允许生成所提供的“线程”数量的信息。
同样，是否有任何简单的方法在正常执行时应用-j-like选项？
例如，假设我希望更快地执行python脚本。
$ python myprogram.py -j4 // <--?
在linux中是否有像-j那样控制线程数量的有用工具？
浏览 0提问于2018-11-16得票数 1
回答已采纳
有人知道Microsoft SQL 2017服务器的各种Python集成选项之间的具体区别吗？下表显示了
但是，“基本”和“高级”集成之间的实际区别是什么？有没有人有过不同类型的集成的经验？
来源：
浏览 3提问于2018-07-05得票数 1
1回答
在用Python 3编写的工程中的数值方法中，作者: Jaan Kiusalaas，第25页，作者用两种方式解决了求和表达式：
第一种方法:使用循环。
第二种方法:从numpy导入arange的矢量化版本。
作者指出，“矢量化算法执行速度快得多，但使用的内存更多。”有谁能解释一下向量化算法是什么意思?为什么矢量化算法执行得更快，却使用更多内存？
浏览 1提问于2018-03-13得票数 0
回答已采纳
我有一些python，它可以创建多个进程来更快地完成任务。当我创建这些进程时，我传入一个队列。在进程内部，我使用queue.put(数据)，以便能够在进程之外检索数据。它在我的本地机器上运行得很好，但是当我将zip上传到AWS函数(Python3.8)时，它说Queue()函数在AWS中运行得不是很好，我只是去掉了队列功能，所以我知道这是我目前唯一挂起的。
我确保通过使用"pip多进程-t ./“和"pip boto3 -t ./”将多处理包直接安装到python项目。
我是python的新手，特别是AWS，但是我最近遇到的研究可能会指向SQS。
阅读这些SQS ，我不确定这是
浏览 8提问于2020-01-08得票数 6
回答已采纳
3回答
我有一个大文件(几乎是20GB )，超过20百万行，每一行代表单独序列化的JSON。
将文件line by line作为常规的loop读取并在联机数据上执行操作需要花费大量的时间()。
是否有任何state of art方法或best practices用于读取并行中的大型文件和较小块，以使处理更快？
我使用Python3.6.X
浏览 0提问于2018-06-01得票数 5
#!/usr/bin/env python
from multiprocessing import Process
class Signprocess(Process):
"""docstring for SignThread"""
def __init__(self):
super(SignThread, self).__init__()
self.result = False
def run(self):
self.result = True
print 123
process= Signp
浏览 3提问于2015-10-20得票数 3
回答已采纳
1回答
当我实践python的线程和进程时，我发现在处理某些函数时，线程和进程的打印结果会有所不同。我真的不明白原因，所以我把代码和打印结果一起发送了。以及如何使进程部分和线程部分的结果相同？ 当使用线程时，事情是正确的： import os, time, random, threading, multiprocessing
list = ['python', 'django', 'tornado', 'flask', 'bs5', 'requests', 'uvloop']
new_
浏览 34提问于2021-08-01得票数 1
回答已采纳
1回答
我使用python 2.7和mongodb作为我的数据库。(实际上，我使用哪个数据库并不重要)
在我的数据库中，我有数百万个文档，有时我需要遍历所有文档。
在一个查询中提取所有文档是不现实的，因为这将耗尽内存，相反，我会在每次迭代中提取1000个文档并迭代它们，当我完成时，我将再提取1000个文档，依此类推。
我想知道是否有任何公式来计算从数据库中提取每次迭代的最佳次数。
我在网上找不到能回答我问题的东西。
基本上我的问题是，在每次迭代中从数据库中找到最佳数字的最佳方法是什么。
浏览 2提问于2015-07-21得票数 0
现在，我必须使用sc.parallelize()来创建一个并行化集合(Spark2.1.0)。
我的驱动程序中的收集量很大。当我并行化它时，我发现它在主节点中占用了大量的内存。
在将集合并行化到每个工作节点之后，似乎仍然将保存在主节点的spark的内存中。下面是我的代码示例：
# my python code
sc = SparkContext()
a = [1.0] * 1000000000
rdd_a = sc.parallelize(a, 1000000)
sum = rdd_a.reduce(lambda x, y: x+y)
我试过了
del a
去摧毁它，但它没有起作用。星星之火是
浏览 7提问于2017-09-17得票数 3
回答已采纳
1回答
我有用YAML描述的卷积神经网络模型。当我运行pylearn2 2的train.py时，我发现只使用了四个核心中的一个。
有没有办法进行多线程训练？
是的，也许这是个西亚诺的问题。我遵循了这个关于多核支持的 Theano教程，OMP_NUM_THREADS=2 python theano/misc/check_blas.py -q对我不起作用-我只看到一个线程在运行。还有进一步的问题:培训是否可以与OMP_NUM_THREADS__并行化？因为我不能检查，因为OMP_NUM_THREADS不做这件事。那我该为我的布拉斯操心了吗？
我使用LAPACK，numpy连接到它们，python2.7.9
浏览 11提问于2015-05-26得票数 2
回答已采纳
我在一个Python脚本中加载12个XML文件(每个文件30-80MB)：
import xml.etree.ElementTree as ET
files = ['1.xml', '2.xml', ..., '11.xml', '12.xml']
trees = [ET.parse(f) for f in files]
这大约需要50秒才能运行。我会运行它几次，所以我想我应该试着用多进程来加速它：
import multiprocessing
trees = [None] * len(files)
def _parse
浏览 0提问于2012-01-08得票数 3
回答已采纳
当我不得不在python中并行化一个算法时，我通常使用多处理映射函数。
在滑雪随机拉索中，他们似乎在使用不同的。
我对python中的并行计算不是很精通，我希望能从中学到一些新的东西。
有人能解释一下他们在用什么吗？
在他们的情况下，我会使用多重处理。他们为什么要选择不同的东西？
浏览 2提问于2014-05-09得票数 0
回答已采纳
我试图使用GNU并行来帮助我处理一些我不想在本地保存的远程文件。
我的命令看起来有点像：
python list_files.py | \
parallel -j5 'aws s3 cp s3://s3-bucket/{} -' | \
parallel -j5 --round --pipe -l 5000 "python process_and_print.py"
process_and_print.py输出一些输入行的输出，但是输出并没有像我预期的那样立即输出，而是只在进程完成后才看到输出。如果我删除了--round参数，则所有操作都按预期的方式
浏览 1提问于2017-06-17得票数 2
回答已采纳
我想知道pyspark和createOrReplaceTempView之间的区别
我知道，对于pyspark，我必须使用python，而对于createOrReplaceTempView，它是SQL，但是在内存方面，使用集群，并行化，两者是一样的吗？
例如，如果我使用.toPandas()，我将把所有的数据放在内存中，createOrReplaceTempView会发生类似的情况吗？还是还在分发？
另外，我还想知道，如果我使用CREATE OR REPLACE TEMP VIEW tablename，如何将这个表传递给pyspark
问候
浏览 2提问于2021-05-05得票数 0
3回答
在Python + Python Image Library脚本中，有一个名为processPixel( image，pos)的函数，用于计算图像的函数中的数学索引和图像上的位置。此索引是使用简单的for循环为每个像素计算的：
for x in range(image.size[0)):
for y in range(image.size[1)):
myIndex[x,y] = processPixel(image,[x,y])
这花费了太多的时间。如何实现线程化来分散工作，加快速度呢？多线程代码能有多快？具体地说，这是由处理器核心的数量定义的吗？
浏览 0提问于2012-01-10得票数 4
回答已采纳
1回答
C和Fortran传统上被用于高性能计算(与线性代数、PDE求解器等相关)。我注意到一些基于NumPy和SciPy的项目即将在高性能计算机上出现。有些人认为Python (当然是经过修改)可能是下一种HPC语言。显然，可能不会取代，但可能会为它们添加一个友好的包装器。是否有任何资源来证明/反驳这一假设？换句话说，刚刚起步的研究人员应该将Python添加到他们精通的语言列表中吗？如果是，为什么?
注意:这不是一个讨论问题，我要求你权衡语言的利弊。我也没有问你(在你看来) Python对HPC是否有好处。我要求提供(以学术论文、研讨会或基准形式)调查此类指控的参考资料。
浏览 0提问于2012-02-09得票数 10
回答已采纳
我正在用python创建一个简单的多人游戏。我已经使用python中的默认线程模块拆分了进程。然而，我注意到程序仍然会随着其他线程的速度而变慢。我尝试使用多处理模块，但并不是所有的对象都可以酸洗。
有没有使用多进程模块运行并发进程的替代方案？
浏览 0提问于2013-08-26得票数 2
目前，我正试图使用Python模块并行化ray代码的某些部分。不幸的是，ray默认不允许修改共享内存中的数据(至少根据我的理解)。这意味着我需要先执行一个numpy.copy()，这对我来说是非常低效的。
这可能是一个效率很低的例子：
import numpy as np
import ray
@ray.remote
def mod_arr( arr ):
arr_cp = np.copy(arr)
arr_cp += np.ones(arr_cp.shape)
return arr_cp
ray.init()
arr = np.zeros( (2,3,4) )
浏览 5提问于2021-12-02得票数 1
回答已采纳
1回答
我正面临一个python脚本被终止的问题。我一直使用这个脚本没有任何问题，直到两天前，然后它开始打印，没有任何改变的代码，字符串'killed‘，然后中止执行。
其他人也曾尝试在他们的系统上运行相同的代码，它运行得很好，就像我两天前所做的那样。
我读过一些老的类似问题，我得到的问题可能是由于我的代码中糟糕的内存管理而导致的内存不足问题。这对我来说听起来有点奇怪，因为直到几天前，它还能完美地工作，而且这个问题只出现在我的系统上。
请问您有什么想法来检查这个问题并找到可能的解决方案吗？
Python版本: Python 2.7.14+
系统: Scientific CERN 7
浏览 0提问于2021-01-28得票数 0
我有一个很大的数据集，几乎有4 GB的csv格式。但我不需要整个数据集，我需要一些特定的列。是否可以使用Python Panda读取某些特定列，而不是读取整个数据集？它会提高读取文件的速度吗？
非常感谢您的建议。
浏览 1提问于2015-05-15得票数 1
2回答
我正在运行一台安装了gcc的Lubuntu16.04机器。我不会让gensim与cython一起工作，因为当我训练一个doc2vec model时，它只与一个工人一起训练，速度非常慢。
正如我所说的，gcc是从一开始就安装的。然后我可能犯了一个错误，在安装cython之前安装了gensim。我通过pip强制重新安装了gensim，从而纠正了这个问题。没有效果，仍然只有一个工人。
这台机器被设置为spark主机，我通过pyspark与spark连接。它的工作原理是这样的，pyspark使用jupyter，jupyter使用Python3.5。通过这种方式，我可以获得到集群的jupyter接口。现
浏览 7提问于2017-02-04得票数 0
回答已采纳
我对Python中的线程非常陌生，有几个初学者的问题。
当使用Python模块启动超过50个线程时，我就开始获得threading。线程本身非常苗条，不太需要内存，因此线程的开销似乎是导致内存问题的原因。
我能做些什么来增加内存容量或者使Python允许更多的线程吗？
使用threading模块可以在Python代码中运行的最大线程数是多少？你做了什么把戏来达到这个数字吗？
在使用threading模块时，还有其他需要注意的注意事项吗？
浏览 4提问于2010-05-30得票数 4
回答已采纳
1回答
我正在开发一个应用程序，它可以对图的每个顶点进行计算。这里的主要问题是延迟，因为每次计算都很小。例如，每个计算本身可能需要10ms的执行时间，因此PGBL不应该给进程增加任何显着的延迟。
我可以编写自己的基本图形例程来完成此任务。当然，PBGL还有更多的功能，如果能有的话会更好。例如，当延迟不是问题时，我甚至可能会将一些计算卸载到“云”上。
那么，基本上，在cpu或多核cpu上跨向量计算的开销是多少？另外，将来有可能将顶点计算卸载到gpu上吗？
我从未使用过PGBL，但在boost库中遇到了它，它吸引了我的注意，因为它可能非常适合我的应用程序，除了潜在的延迟问题。
例如，一棵被分成n个分支的非
浏览 0提问于2012-11-25得票数 1
我想使用python在一个大型数组上并行计算。输入数组和输出数组都不在内存中。此外，写入输出文件是一个潜在的瓶颈(因为例如，HDF5通常不支持并行写入)。
dask.array.map_blocks(func).store(...)
在等待写出生成的块时，dask如何决定将多少新块放入内存(即读入并开始计算)？据推测，如果它试图使CPU完全被占用，就有可能导致python达到内存限制。是否存在相关的配置设置，或者最好避免使用dask并实现其他类型的任务队列？
浏览 12提问于2018-02-12得票数 2
回答已采纳
我一直试图优化一段涉及大型多维数组计算的python代码。我得到了numba的违反直觉的结果。我正在运行一个MBP，2015年中期，2.5 GHz i7四核，OS10.10.5，python2.7.11。请考虑以下几点：
import numpy as np
from numba import jit, vectorize, guvectorize
import numexpr as ne
import timeit
def add_two_2ds_naive(A,B,res):
for i in range(A.shape[0]):
for j in
浏览 5提问于2016-02-11得票数 6
回答已采纳
3回答
我需要从一个巨大的表中读取数据(>100万行，16个cols的原始文本)，并对其进行一些处理。逐行读取它看起来非常慢(python，MySQLdb)，实际上，我希望能够一次读取多行(可能是并行的)。
仅供参考，我的代码目前看起来像这样：
cursor.execute('select * from big_table')
rows = int(cursor.rowcount)
for i in range(rows):
row = cursor.fetchone()
.... DO Processing ...
我尝试运行程序的多个实例来迭代表的不同部分(例
浏览 1提问于2011-11-20得票数 5
我一直在测试经过预先培训的Opus-MT模型，并将其移植到transformers库中以供python实现。具体来说，我使用作品-山-森林从英语到法语翻译。标记器和转换模型是通过MarianTokenizer和MarianMTModel加载的--类似于拥抱面上的这里代码示例。奇怪的是，对于同一个在同一台机器上翻译相同英文输入的预先训练过的模型，我观察到80+ ms和(惊人的)4 S之间的任何地方，每次翻译(例如输入=“猕猴桃”)。
想知道是否有人观察到过类似的行为，是什么导致了如此广泛的变化？
浏览 0提问于2022-09-08得票数 1
假设我有一台多芯笔记本电脑。
我用python编写了一些代码，并运行它；然后，当我的python代码运行时，我打开matlab并运行一些其他代码。
下面是怎么回事？这两个过程会被并行地使用多核自动处理吗？
或者计算机等待一个完成，然后处理另一个？
谢谢！
我指的两个程序在本质上可以被认为是最简单的程序，例如计算1+2+3.....+10000000
浏览 1提问于2016-12-11得票数 0
回答已采纳
3回答
我想使用我所做的Python工具来运行一些模拟。问题是，我必须用不同的参数/参数和所有东西多次调用它。
目前，我正在使用多个for循环来执行任务，例如：
for simSeed in 1 2 3 4 5
do
for launchPower in 17.76 20.01 21.510 23.76
do
python sim -a $simSeed -p $launchPower
done
done
为了使模拟同时运行，我在调用模拟器的行的末尾添加了一个&。
python sim -a $simSeed -p $launchPower &
浏览 0提问于2020-03-13得票数 3
回答已采纳
1回答
我用Python中的多进程编写了下面的玩具代码。
我希望函数func并行运行，并写入全局变量：var、varr和varrr。然而，下面的代码只为var、varr和varrr打印零。
如何让func修改全局变量var、varr和varrr？
import multiprocessing as mp
import itertools
import numpy as np
p = 3
ind = range(p)
ind_list = list(itertools.product(ind,ind,ind))
var = np.zeros([p,p,p])
varr = np.zeros([p,p
浏览 0提问于2018-08-03得票数 1
我使用的是scikit Learn14.1中的sklearn.grid_search.RandomizedSearchCV类，运行以下代码时出现错误：
X, y = load_svmlight_file(inputfile)
min_max_scaler = preprocessing.MinMaxScaler()
X_scaled = min_max_scaler.fit_transform(X.toarray())
parameters = {'kernel':'rbf', 'C':scipy.stats.expon(scale=100)
浏览 0提问于2014-05-31得票数 1
1回答
我几乎同时成功地并行运行了几个笔记本电脑(=内核)。
它优化了GPU内存:一个分类只使用内存限制的三分之一，但是RAM的使用更大，因为每个笔记本都必须加载所有库。
这就是我想使用多处理函数运行几个并行分类的原因，但它不起作用。
以下是代码：
from multiprocessing import Pool
with Pool() as pool:
# execute tasks, block until all completed
pool.map(pytorch_classification, [param1,param2])
内核永远不会停止运行。
当我停止内核时，池工作
浏览 7提问于2022-10-01得票数 0
3回答
多进程=运行多个进程？
、、、、
我对多重处理有点困惑。我是一个3年的Python程序员，但是从来没有真正需要并行地(不仅仅是异步地)执行任务。但是我所知道的，或者我想知道的是，当使用multiprocessing中的python.exe模块来实现“真正的并行性”时，就会产生新的python.exe进程！
例如，像这样的3D软件使用所有CPU的功能来渲染3D场景。但是我没有看到任务管理器中有多个Cinema 4D.exe进程。
上述语句是否正确，即在使用multiprocessing模块时生成了多个Python进程？
如果是的话，为什么是这样，C++应用程序如何使用没有多个进程的所有CPU？
浏览 17提问于2013-02-08得票数 2
回答已采纳
2回答
我运行的气流与库伯内特斯执行者在对接-桌面库伯内特斯集群(在Mac上)。我在dag文件中有多个sensorOperators，它们每个都是下游依赖关系的一部分。总共有22个传感器操作员并行运行，结果执行5-7分钟后，我的kubernetes集群连接下降。在重新启动集群之后，我可以再次访问我的k8s dashbaord，并检查所有red失败任务的日志，它们似乎都在抱怨mysql连接失败。
[2019-08-15 10:09:03,829] {__init__.py:1374} INFO - Executing <Task(IngestionStatusSensor): ingesti
浏览 5提问于2019-08-15得票数 1
我有一个很重要的输入管道，它包括读取基本事实和原始数据，并对它们执行预处理，用Python编写。为一个样本运行输入管道需要很长时间，所以我让多个进程(来自python多处理包)并行运行和排队，以便快速执行操作并预取数据。然后使用feed_dict将输出提供给我的网络。在我的训练循环中，这个过程的开销比实际的tf.Session.run()时间少2个数量级。我试图转移到tf.data应用程序接口，通过包装tf.py_func我的read+preprocess函数，但它运行很慢，可能是由于GIL，即使增加了多个调用的数量。我希望将我的训练扩展到多台机器上，但不确定在这种情况下数据获取的行为如何，而
浏览 63提问于2018-04-25得票数 5
回答已采纳
我正在尝试使用Pandas优化用Python编写的一段软件。该算法以熊猫DF为输入，不能分布，并为每个客户端输出一个度量。
也许这不是最好的解决方案，但我的高效方法是并行加载所有文件，然后为每个客户端构建一个DF。
这很好，但是很少有客户端拥有大量的数据。所以我需要在创建他们的DF时节省内存。
为了做到这一点，我正在执行一个groupBy() (实际上是一个combineByKey，但逻辑上它是一个groupBy)，然后为每个组(现在是一个RDD的单个行)构建一个列表，然后从它构建一个熊猫DF。
然而，这会产生许多数据副本(RDD行、列表和熊猫DF.)在单个任务/节点和崩溃中，我想在一个节点中
浏览 4提问于2017-08-01得票数 0
回答已采纳
我有一个函数，它接受数组并返回一个数字。
我想在10个不同的输入数组上运行这个函数，然后返回所有结果的和。
告诉Python在一台有4个核的计算机上并行运行这10次计算的最佳方法是什么？
在文档中有，也有。有了这么多不同的方法，我应该使用哪种方法来完成上面的任务？
编辑：
该功能是一种机器学习功能：
它将输入数组划分为两个部分--train和DataSET的"test“部分。它在"train“部分上训练一个特定的分类器，并在"test”部分返回这样一个经过训练的分类器的预测精度。
浏览 2提问于2017-10-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
