python中使用joblib的并行循环抛出奇怪的错误
在Python中使用joblib的并行循环时，可能会遇到一些奇怪的错误。joblib是一个用于并行计算的库，它可以帮助加速循环和函数的执行。下面是对这个问题的完善且全面的答案：
问题：python中使用joblib的并行循环抛出奇怪的错误
答案： 在使用joblib的并行循环时，可能会遇到一些奇怪的错误。这些错误通常是由于并行计算引起的，可能涉及到共享资源的访问冲突或其他并发问题。下面是一些可能导致错误的原因和解决方法：
- 共享资源访问冲突：并行循环中的多个任务可能同时访问共享资源，如全局变量或文件。这可能导致数据不一致或竞争条件。解决方法是使用适当的同步机制，如锁或信号量，来确保共享资源的互斥访问。
- 并发问题：并行计算可能引发一些并发问题，如死锁或竞争条件。这些问题可能导致程序无法继续执行或产生错误结果。解决方法是仔细设计并发算法，避免潜在的竞争条件，并使用适当的同步机制来保护共享资源。
- 任务依赖关系：并行循环中的任务可能存在依赖关系，其中某些任务必须在其他任务之前完成。如果没有正确处理这些依赖关系，可能会导致错误的执行顺序或结果。解决方法是使用适当的任务调度算法，确保任务按照正确的顺序执行。
- 内存限制：并行计算可能会消耗大量的内存资源，特别是在处理大规模数据集时。如果内存不足，可能会导致程序崩溃或性能下降。解决方法是优化内存使用，如使用生成器而不是列表来减少内存占用，或者使用分布式计算框架来处理大规模数据。
总结： 在使用joblib的并行循环时，需要注意并发问题、共享资源访问冲突、任务依赖关系和内存限制等可能导致奇怪错误的因素。通过合理设计并发算法、使用适当的同步机制、处理任务依赖关系和优化内存使用，可以提高程序的性能和稳定性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云函数计算：https://cloud.tencent.com/product/scf
- 腾讯云容器服务：https://cloud.tencent.com/product/ccs
- 腾讯云弹性MapReduce：https://cloud.tencent.com/product/emr
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发（MPS）：https://cloud.tencent.com/product/mps
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Metaverse）：https://cloud.tencent.com/product/metaverse
请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和决策。
相关·内容
我正在尝试并行化代码，它使用在库中定义的函数将字符串转换为第三方包对象。但是，根据我提供的输入数据，joblib失败了。当使用joblib时，函数的返回类型重要吗？
为复制这一问题：
首先安装第三方库：
pip install joblib music21
并下载数据文件 (它是4kb的文本)。
此代码将以脚本的形式运行：
from typing import List
import music21
from joblib import Parallel, delayed
def convert_string(string: str, format: str = "abc"
浏览 4提问于2021-09-25得票数 1
1回答
我已经创建了一个sklearn模型，我想将其嵌入到我的nodejs web应用程序中。我已经使用python3创建了模型，并使用joblib将其打包到pkl文件中。
from sklearn.externals import joblib
joblib.dump(clf, 'RandomForest_jul30.pkl', protocol=2)
我正在使用npm包"child_process“来运行一个python脚本，我将使用joblib.loads加载数据并解压缩pkl文件，尽管它抛出了错误：
ValueError: unsupported pickle prot
浏览 0提问于2017-08-08得票数 0
我正在使用numpy在python中进行一些统计计算。我目前的实现到目前为止还没有并行化。因此，我正在研究python joblib并行以实现简单的循环并行化。
我的代码的非并行化部分如下所示：
def calcRADMatInt( i, j , RADMat, pdfMu, pdfSigma):
if i==j:
RADMat[i, j] = 0.0
else:
RADMat[i, j] = calcRAD( pdfMu[i], np.squeeze( pdfSigma[i]), pdfMu[j], np.squeeze( pdfSigma[j]) )
RAD
浏览 1提问于2012-07-25得票数 1
我很难将一个名为"scanpy“的python包导入到木星笔记本中。按照@ecjb在这里的建议() (基本上是指定我在安装"joblib“时想要使用的python/pip安装)，我尝试指定pip和python，并安装joblib，但似乎无法工作。
import numpy as np
import pandas as pd
!/software/miniconda3/4.10.3/bin/pip install joblib
import joblib
import scanpy as sc
Defaulting to user installation because nor
浏览 9提问于2021-12-23得票数 0
我正在尝试使用ipyparallel来训练多个RandomForest分类器。我的设计是嵌套的CV循环，外部CV与去除方差，内部GridSearchCV与内置(n_jobs = -1)，寻找最佳的估计器(森林中的#森林，#树在森林中)，并训练每一个组合(拟合函数)与ipyparallel (训练森林是最内的步骤)。
如果我使用GridSearchCV运行n_jobs = 1，那么一切都会运行得很顺利，而且非常缓慢。但是如果我做了n_jobs > 1，在外部CV循环的第一次迭代(非常快)之后，我得到了一个HubConnectionTimeout错误。
我用这个附加了密码。还有错误。
简历圈
浏览 5提问于2016-02-15得票数 4
我试图使用RandomizedSearchCV来调优一个随机森林的超参数，但在运行代码后不久我得到了一个PermissionError。 最初的运行没有PermissionError (但是它抛出了一个invalid handle错误)，但是现在我根本不能运行代码。据我所知，当代码试图在没有适当权限的情况下格式化驱动器时，通常会抛出WinError 5，但据我所知，RandomizedSearch不会试图改变任何东西。我还没有尝试以管理员身份运行，但访问该帐户将很困难，所以我正在尝试找出是否有其他方法来解决这个问题。我正在运行Python 3.7。 n_estimators = [int(x
浏览 32提问于2019-06-05得票数 2
2回答
我试着运行这个：
所以我需要做的就是去运行它。
我pip安装了所有的要求，ffmpeg，并尝试运行与默认的例子。
% python AudioSpectrumVisualizer.py 'sample.mp3'
我有一条错误信息：
ImportError: No module named joblib
这很奇怪，因为我已经安装了joblib。所以我尝试了一些东西，
试图再次安装它：
% pip3 install joblib
Requirement already satisfied: joblib in /usr/loca
浏览 4提问于2022-08-28得票数 0
回答已采纳
我正在尝试用python运行一个非常简单的并行循环。 from joblib import Parallel, delayed
my_array = np.zeros((2,3))
def foo(array,x):
for i in [0,1,2]:
array[x][i]=25
print(array, id(array), 'arrays in workers')
def main(array):
print(id(array), 'Original array')
inputs = [0,1]
if __nam
浏览 120提问于2021-09-16得票数 0
回答已采纳
我已经成功地训练了ML引擎的模型科学套件。我可以从云存储桶中获取model.joblib文件并加载它，还可以使用gcloud获取本地预测。但是，我不能创建一个模型版本。
I使用sklearn_crfsuite估计
crf = sklearn_crfsuite.CRF(
algorithm='lbfgs',
c1=0.1,
c2=0.1,
max_iterations=2,
all_possible_transitions=True
)
我正在保存模型，如下所述：
model = 'model.joblib'
joblib.dump(crf, mod
浏览 1提问于2018-11-28得票数 0
，这不是一个重复的问题。我遇到了 问题。没有找到我的答案
我想在python中并行化for循环。我所说的并行化是指：
循环的每一次迭代都是独立运行的，而不是顺序运行的(不像整个for循环独立于主程序，而是循环仍然是顺序的)
解决方案应该是跨平台的，即在所有平台上工作。就像我尝试joblib时一样，我无法使它在Ubuntu或Ray上工作，而后者在Windows上是不起作用的
家长的问题真的很老，我在想，现在是否有更好的方法来解决这个问题？
浏览 5提问于2020-06-16得票数 1
2回答
我有一个嵌套的列表理解，如下所示：
>>> nested = [[1, 2], [3, 4, 5]]
>>> [[sqrt(i) for i in j] for j in nested]
[[1.0, 1.4142135623730951], [1.7320508075688772, 2.0, 2.23606797749979]]
是否可以使用对此进行并行化？如果是，那么delayed的正确语法是什么？
据我所知，这些文档没有提到或给出任何嵌套输入的例子。我尝试过一些简单的实现，但没有结果：
>>> #this syntax fails:
浏览 0提问于2015-05-12得票数 4
回答已采纳
大家晚上好，
我正在尝试使用python进行一些机器学习，因此我导入了模块scikit- learning：
from sklearn.preprocessing import MinMaxScaler
这给了我一个奇怪的错误：
Traceback (most recent call last):
File "<ipython-input-22-b55a4eaccb0b>", line 1, in <module>
from sklearn.preprocessing import MinMaxScaler
File "C:\
浏览 1提问于2017-06-13得票数 1
回答已采纳
1回答
我正在我的数据上构建和拟合一个hdbscan模型，当我从文件内部运行脚本时，它工作得又好又快，但是当我导入文件并从‘外部’运行它时，它进入了一个奇怪的循环，我不知道它是如何开始的。我得到了以下错误：
ImportError: [joblib] Attempting to do parallel computing without protecting your import on a system that does not support forking. To use parallel-computing in a script, you must protect your main lo
浏览 0提问于2018-02-06得票数 1
回答已采纳
背景
我试图使用Python3.8中更多可用的核心，通过并行化(通过joblib)来加速计算，但注意到它的扩展能力很差。
试验
我编写了一个小脚本来测试和演示稍后可以找到的行为。这个脚本(见后面的部分)被设计成一个完全独立的任务，使用NumPy和Pandas进行一些虚拟操作的迭代。任务没有输入和输出，没有磁盘或其他I/O，也没有任何通信或共享内存，只有普通的CPU和RAM使用。进程在当前时间内不使用任何其他资源，除了偶尔的请求。Amdahl定律不应该适用于这里的代码，因为除了进程设置之外，根本没有通用代码。
我通过使用顺序和并行处理复制任务来进行一些增加工作量的实验，并测量了每次迭代和整个(并
浏览 7提问于2021-02-16得票数 3
我在使用GridSearchCV时遇到了以下问题:在使用n_jobs > 1时，我遇到了一个并行错误。同时，像RadonmForestClassifier这样的单一模型，n_jobs > 1也能很好地工作。
下面是一个显示错误的简单工作示例：
train = np.random.rand(100,10)
targ = np.random.randint(0,2,100)
clf = ensemble.RandomForestClassifier(n_jobs = 2)
clf.fit(train,targ)
train = np.random.rand(100,10)
targ
浏览 0提问于2016-11-25得票数 4
我想使用Machine Learning和joblib库在我的所有核心上执行来自Sklearn库的Dask算法。
用：编写joblib.parallel_backend的代码
#Fire up the Joblib backend with Dask:
with joblib.parallel_backend('dask'):
model_RFE = RFE(estimator = DecisionTreeClassifier(), n_features_to_select = 5)
fit_RFE = model_RFE.fit(X_values,Y_valu
浏览 7提问于2021-04-05得票数 5
回答已采纳
4回答
我试图在mnist手写数字数据集上运行scikit学习随机森林算法。在算法的训练过程中，系统陷入了一个记忆错误。请告诉我该怎么做才能解决这个问题。
CPU统计：英特尔核心2二元组，内存为4GB
数据集的形状为60000,784。linux终端上的完全错误如下所示：
> File "./reducer.py", line 53, in <module>
> main() File "./reducer.py", line 38, in main
> clf = clf.fit(data,labels) #train
浏览 5提问于2014-04-16得票数 5
2回答
我使用joblib并行处理我的python3.5代码。
如果我这样做了：
from modules import f
from joblib import Parallel, delayed
if __name__ == '__main__':
Parallel( n_jobs = n_jobs,backend = "multiprocessing")(delayed(f)(i) for i in range( 10 ))
密码不起作用。相反：
from joblib import Parallel, delayed
def f( i ):
浏览 8提问于2017-10-19得票数 7
2回答
假设我们做了一些手术，比如：
groups = ['A','B','C']
idx = [n for n in range(1000)]
for group in groups:
for i in idx:
# Compute something
其中idx比groups大得多。
为了加快速度，我看了一下Python中的multiprocessing和joblib。但是，我们应该在外部循环上并行(将for group in groups逻辑拆分为并行)，还是在内部循环上并行(将for i in idx逻辑拆分为并行)？
浏览 10提问于2022-05-08得票数 0
回答已采纳
我想并行执行在我的计算机CPU的四核处理器上用python-2.7编写的for循环。
我是用joblib.Parallel还是使用并行-Python实现这一点呢？
我已经看到joblib.Parallel被更多地使用了，但是文档的第一行让我担心:它设置了分叉的进程来处理“单独的CPU”。这是否意味着它不能在同一个CPU的不同核心上完成这个任务？
浏览 5提问于2014-05-31得票数 2
回答已采纳
2回答
当我尝试安装joblib时，我得到了这个错误。我该怎么绕过它呢？
joblib/test/data/joblib_0.9.4.dev0_compressed_cache_size_pickle_py35_np19.gz_01.npy.z -> build/lib/joblib/test/data
copying joblib/test/data/joblib_0.9.4.dev0_compressed_cache_size_pickle_py35_np19.gz_02.npy.z -> build/lib/joblib/test/data
copying joblib/test/d
浏览 28提问于2017-06-27得票数 0
1回答
我需要运行一个令人尴尬的并行for循环。经过快速搜索，我找到了python的joblib包。我做了一个简单的测试，就像在包的网站上发布的一样。下面是测试结果
from math import sqrt
from joblib import Parallel, delayed
import multiprocessing
%timeit [sqrt(i ** 2) for i in range(10)]
result: 3.89 µs ± 38.9 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
num_cores = m
浏览 26提问于2018-01-20得票数 1
1回答
我有下面的代码片段来训练文本分类的模型。我对它进行了相当多的观察，并且运行非常顺利，但是它仍然使用了大量的RAM。我们的数据集是巨大的(1300万个文档+词汇表中的1800万单词)，但在我看来，执行中抛出错误的点非常奇怪。剧本：
encoder = LabelEncoder()
y = encoder.fit_transform(categories)
classes = list(range(0, len(encoder.classes_)))
vectorizer = CountVectorizer(vocabulary=vocabulary,
浏览 1提问于2018-03-26得票数 2
回答已采纳
当我尝试从脚本或python -c 'import joblib'导入joblib时，会发生以下权限错误
/usr/local/lib/python2.7/dist-packages/joblib//joblib_multiprocessing_helpers.py:29: UserWarning: [Errno 13] Permission denied. joblib will operate in serial mode
warnings.warn('%s. joblib will operate in serial mode' % (e,
浏览 2提问于2016-08-25得票数 2
回答已采纳
我正在使用scikit-学习NearestNeighbors找到最近的邻居，使用tfidf的人维基数据。
在我的.kneighbors()方法调用
res = neigh.kneighbors(obama_tfidf, return_distance=False)
一个Multiprocessing模块抛出了一个例外：
ValueError: UPDATEIFCOPY base is read-only
我已经将我的完整代码和示例数据(大小为80 MB )上传到我的上，以供参考。
下面是错误列表的一部分：
--------------------------------------------
浏览 3提问于2017-11-06得票数 4
我好像搞不清这事。我已经有了一个受过scikit训练的模型--学习，保存到一个.pkl文件中，我想要做一个基于它的预测的API。
我已经有了做出预测的代码，它在控制台/单元测试中运行得很好。为了加快预测速度，我正在分割数据(数千个图像补丁)，并使用joblib/multiprocessing传播负载。
我正在设置JOBLIB_START_METHOD=forkserver，因为如果在multiprocessing进程中使用它，那么可以学习挂起。
我已经用flask完成了一个API，它使用了这段代码，并且当在烧瓶的开发服务器上运行时，它工作得很好。现在我正试图在gunicorn中托管gunico
浏览 5提问于2017-09-29得票数 3
回答已采纳
我正在运行下面链接中的示例代码，以创建模型并验证虹膜数据集。
在上面的链接中，他们使用了在线数据集，它工作得很好。
我已经下载了csv格式的虹膜数据集，并在linux box中运行了相同的程序，但它抛出了以下错误。
Traceback (most recent call last): File "/home/nn/Desktop/iris.py", line 44, in <module> cv_results = model_selection.cross_val_score(model, X_train, Y_train, cv=kfold, sc
浏览 0提问于2017-03-22得票数 0
2回答
如何实现并行硒处理
、、、、
我之前问过这个问题，现在已经删除了，但没有正确表达。我正在努力改善这一点。
任何帮助都将不胜感激。
我要做的：自动化某些任务
anythingrefresh 转到网站搜索任务，如果找到，打开新选项卡中的任务(切换到新选项卡-tab1)单击“查看”，然后关闭选项卡(关闭-切换到tab0) --这不会返回第一个选项卡(tab0)，因此“查看”会自动更新(我认为这是通过会话/缓存实现的)--有一个侧列显示所有看到的任务。和在所有任务(tab0)的末尾，单击返回预定代码的“已完成任务”。<code>F 214</code>
我正在运行的内容：
class SomeClass(S
浏览 3提问于2021-06-24得票数 0
回答已采纳
1回答
在发布之后，我尝试使用joblib执行代码。但我得到了以下错误：
classify=joblib.load("traindata.pkl")
ValueError:您可能会尝试使用python3读取用python2生成的joblib泡菜。
在中，它说我在使用python3，这就是为什么会出现这个错误。
如何使用python3读取pkl文件？
谢谢!
浏览 2提问于2017-07-12得票数 2
回答已采纳
我试图从我的节点js代码中调用python脚本。它适用于python代码中的print函数，如下代码所示
节点JS代码
const { spawn } = require('child_process');
const pyProg = spawn('python', ['app.py']);
pyProg.stdout.on('data', function(data) {
console.log(data.toString());
});
pyProg.stderr.on('
浏览 8提问于2020-04-26得票数 1
我用来自Scikit-learn的imblearn和RandomForestClassifer构建并训练了一个imblearn.pipeline Pipeline。
使用joblib.dump('model.joblib')保存模型。
但是，当我试图加载模型时，它抛出了一个错误
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
浏览 11提问于2021-03-04得票数 0
1回答
我有一个使用joblib并行运行程序的python脚本，它工作得很好(100%的cpu消耗在本地机器上)。
最近，我将python脚本迁移到azure上的数据科学虚拟机(DSVM)上，但发现多处理逻辑不起作用(平均cpu消耗保持在5%的低水平)。
有人知道azure VM是否支持并行化吗？如果是，我应该使用哪个python包？当前使用的是joblib。
如果没有，你可以建议在azure VM上进行并行化的替代方案吗？
提前感谢您，祝您身体健康！
你好，凯尔文
浏览 1提问于2020-04-29得票数 0
我在一个位于Docker容器中的烧瓶应用程序中与uWSGI (从启用线程开始)一起运行joblib，这是由supervisord启动的。
The服务器的启动显示了以下错误：
unable to load configuration from from multiprocessing.semaphore_tracker import main;main(15)
/usr/local/lib/python3.5/dist-packages/sklearn/externals/joblib/_multiprocessing_helpers.py:38: UserWarning:
[Errno 32
浏览 3提问于2019-02-18得票数 4
回答已采纳
我想使用itertuples()来迭代数据帧，这是一种常见的方法：
for row in df.itertuples():
my_funtion(row) # do something with row
但是，现在我希望像这样并行地使用joblib执行循环(对我来说，这似乎非常简单)：
num_cores = multiprocessing.cpu_count()
processed_list = Parallel(n_jobs=num_cores)(delayed(my_function(row) for row in df.itertuples()))
但是，我得到了以下错误：
&
浏览 4提问于2020-04-02得票数 0
我是Python新手，在导入库方面遇到了麻烦。
我写了一段代码
from sklearn.linear_model import LogisticRegression
然后我发现了一个错误
ImportError Traceback (most recent call last)
<ipython-input-19-c84b03903d9e> in <module>()
----> 1 from sklearn.linear_model import LogisticRegression
/usr/li
浏览 3提问于2016-01-30得票数 7
回答已采纳
我使用的是scikit Learn14.1中的sklearn.grid_search.RandomizedSearchCV类，运行以下代码时出现错误：
X, y = load_svmlight_file(inputfile)
min_max_scaler = preprocessing.MinMaxScaler()
X_scaled = min_max_scaler.fit_transform(X.toarray())
parameters = {'kernel':'rbf', 'C':scipy.stats.expon(scale=100)
浏览 0提问于2014-05-31得票数 1
1回答
在使用joblib.Parallel创建Python扩展时，我遇到了一个非常奇怪的问题。
以下代码按预期工作：
from joblib import Parallel, delayed
from math import sqrt
print(Parallel(n_jobs=4)(delayed(sqrt)(x) for x in range(4)))
以下代码永远挂起：
from joblib import Parallel, delayed
def mult(x):
return x*3
print(Parallel(n_jobs=4)(delayed(mult)(x) for
浏览 1提问于2018-11-27得票数 1
1回答
我有一些分类器，我想对一个样本进行评估。这个任务可以并行运行，因为它们是相互独立的。这意味着我想并行化它。
我用python和bash脚本尝试了它。问题是，当我第一次运行这个程序时，大约需要30-40岁才能完成。当我连续多次运行程序时，只需1s-3s即可完成。即使我用不同的输入输入分类器，我也得到了不同的结果，所以似乎没有缓存。当我运行一些其他的程序，然后重新运行程序，那么它再次需要40多岁才能完成。
我还在htop中观察到，当程序第一次运行时，CPU并没有得到太多的利用，但是当我一次又一次地运行它时，CPU就被充分利用了。
有人能给我解释一下这种奇怪的行为吗？我如何避免它，以便即使是第一次运
浏览 1提问于2017-12-19得票数 5
2回答
我想并行运行一些代码，并用Python中的结果填充一个全局变量。我编写了一个示例代码来检查 know 的行为，但我不知道如何返回结果。示例代码是：
import numpy as np
import multiprocessing
from joblib import Parallel, delayed
global_var = np.zeros(10)
def populate(idx):
print('I am core',idx,'\')
global_var[idx] = idx
num_cores = multiprocessing.
浏览 0提问于2018-04-27得票数 6
我有一个科学知识创建的模型，一个巨大的测试数据集可以预测。现在为了加速预测，我想实现多处理，但真的无法破解，在这方面需要帮助。
import pandas as pd
from sklearn.externals import joblib
dataset = pd.read_csv('testdata.csv') # 8mln rows
feature_cols = ['col1', 'col2', 'col3']
#load model
model = joblib.load(model_saved_path)
浏览 2提问于2017-11-20得票数 1
回答已采纳
我正在尝试使用s3从joblib加载已保存的模型
import pandas as pd
import numpy as np
import json
import subprocess
import sqlalchemy
from sklearn.externals import joblib
ENV = 'dev'
model_d2v = load_d2v('model_d2v_version_002', ENV)
def load_d2v(fname, env):
model_name = fname
if env == 'd
浏览 24提问于2020-05-19得票数 106
回答已采纳
为了抓取一个URL池，我正在使用joblib并行处理selenium。在这方面，我面临两个挑战：
挑战1是加快这一进程。现在，我的代码为每个URL打开并关闭一个驱动程序实例(理想情况下，每个进程都是一个)
挑战2是摆脱CPU密集型的同时循环，我认为我需要continue对空的结果(我知道这很可能是错误的)。
伪码：
URL_list = [URL1, URL2, URL3, ..., URL100000] # List of URLs to be scraped
def scrape(URL):
while True:
浏览 2提问于2017-12-12得票数 0
回答已采纳
我有一个泡菜文件，其中包含浮点值.这个文件是用Python2.7创建的。在Python2.7中，我常常像这样加载它：
matrix_file = pickle.load(open('matrix.pickle', 'r'))
现在在Python3.8中，这段代码出现了错误
TypeError: a bytes-like object is required, not 'str'
当我尝试使用'rb‘时，我得到了这个错误
UnicodeDecodeError: 'ascii' codec can't decode b
浏览 3提问于2020-09-09得票数 1
回答已采纳
我读过，但我不明白The delayed function is a simple trick to be able to create a tuple (function, args, kwargs) with a function-call syntax.是什么意思
我使用它来迭代我想要操作的列表(allImages)如下：
def joblib_loop():
Parallel(n_jobs=8)(delayed(getHog)(i) for i in allImages)
这将返回我的HOG特性，就像我想要的那样(并且使用我所有的8个核来获得速度增益)，但是我不知道它到底在做什
浏览 5提问于2017-02-14得票数 90
回答已采纳
1回答
我对PyQT5并行编程非常陌生。我有10个方法想在GUI中并行运行，我在我使用的Joblib上得到了一个中止。
我得到了TypeError: cannot unpack non-iterable function object。我尝试使用枚举数，但仍然得到一个中止。
我的错误消息：
joblib.externals.loky.process_executor._RemoteTraceback:
"""
Traceback (most recent call last):
File "/usr/local/lib/python3.7/site-packag
浏览 3提问于2019-02-16得票数 1
回答已采纳
虽然有许多关于error ValueError: negative dimensions are not allowed的问题线索，但我找不到问题的答案
使用SGDclassifer训练机器学习模型后
clf=linear_model.SGDClassifier(loss='log',random_state=20000,verbose=1,class_weight='balanced')
model=clf.fit(X,Y)
X的维数为(1651880,246177)
下面的代码正常工作，即保存模型对象和使用模型进行预测时
joblib.dump(model,
浏览 1提问于2019-09-17得票数 0
5回答
异步运行同一方法的多个实例？
、、、、
我的要求很奇怪。
我有SomeMethod()，它叫GetDataFor()。
public void SomeMethod()
{
for(int i = 0; i<100; i++) {
var data = GetDataFor(i);
}
}
public data GetDataFor(int i) {
//call a remote API
//to generate data for i
//store to database
return data;
}
对于每个i，的最终结果总是不同的。没有必要在调用Ge
浏览 7提问于2016-02-11得票数 5
回答已采纳
3回答
我正在尝试掌握Python中的多处理。我从创建这段代码开始。它简单地计算整数i的cos(i)，并测量使用多处理和不使用多处理时所用的时间。我没有观察到任何时差。下面是我的代码：
import multiprocessing
from multiprocessing import Pool
import numpy as np
import time
def tester(num):
return np.cos(num)
if __name__ == '__main__':
startti
浏览 1提问于2015-07-24得票数 2
3回答
我想将这段代码并行化： - "mean": float(zonal_extract.mean().compute()),
- "min": float(zonal_extract.min().compute()),
- "max": float(zonal_extract.max().compute()),
- "sum": float(zonal_extract.sum().compute()),
- "stddev": float(zona
浏览 49提问于2021-11-13得票数 0
回答已采纳
1回答
我正在开发一个有2M行的模型，但是pandas dataframe在读取文件时抛出内存错误。我使用Python3.6，我使用dask dataframe读取文件，并尝试使用scikit学习使用joblib来训练模型。代码运行良好，但等待时间更长，内存和cpu使用率较高，会影响其他正在运行的作业。下面的代码作为参考。
import dask
import dask.dataframe as dd
from dask.distributed import Client
from dask_ml.model_selection import train_test_split
import jobli
浏览 3提问于2020-03-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
