Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >Keras Sklearn RandomizedSearchCV图形处理器对象模型错误

问Keras Sklearn RandomizedSearchCV图形处理器对象模型错误
EN

Stack Overflow用户

提问于 2018-03-12 10:24:16

回答 1查看 483关注 0票数 3

我想将RandomizedSearchCV(或GridSearchCV)应用到我的Keras模型(TensorFlow后端)。然而，在使用不同的超参数集进行多次训练后，出现了OOM错误。

下面是我的代码和错误消息。我该如何解决这个问题呢？提前谢谢。

def build_model(num_filters = 10, 
                num_classes = 6,
                sequence_max_length=512, 
                vocab_size=71, 
                embedding_size=16, 
                learning_rate=0.001, 
                dropout = 0.2,
                top_k=3,
                embedding_matrix = None,
                model_path=None):
    ... do something
    return model

keras_model = KerasClassifier(build_fn=build_model, 
    embedding_matrix = embedding_matrix) 

random_search_model = RandomizedSearchCV(keras_model, 
                        n_iter = 5,
                        param_distributions = hparm_dist,
                        refit = True,
                        n_jobs = 1)

错误消息：

ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[471512,300]

更新：

通过将keras.backend.clear_session()添加到sklearn.cross_validation._fit_and_score的末尾来解决。

EN

回答 1

Stack Overflow用户

发布于 2018-03-13 16:01:52

您可以尝试将'pre_dispatch‘参数更改为1。By default it is 2*n_jobs

random_search_model = RandomizedSearchCV(keras_model, 
                    n_iter = 5,
                    param_distributions = hparm_dist,
                    refit = True,
                    pre_dispatch=1,
                    n_jobs = 1)

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49232895

复制

相关文章

keras利用sklearn进行超参数自动搜索

keras tf.keras tensorflow sklearn-pandas python

深度学习模型通常具有许多可以调整的超参数，例如学习率、批次大小、隐藏层数、神经元数量及优化器等。为了在给定的任务和数据集上获得模型的最佳性能，我们需要找到在模型中使用的最佳超参数值。搜索最佳超参数组合的过程称为超参数优化。

Mirza Zhao

2023/07/12

5850

盘一盘 Python 系列 11 - Keras (下)

keras python scikit-learn numpy

本文是 Python 系列的第十五篇，也是深度学习框架的 Keras 下篇。整套 Python 盘一盘系列目录如下：

用户5753894

2021/01/06

7910

keras和sklearn深度学习框架

https pytorch serverless 网络安全

所有model都是可调用的(All models are callable, just like layers)

sofu456

2022/05/06

5550

GPU图形处理器

processing android

图像的实时渲染过程顶点处理（Vertex Processing）图元处理（Primitive Processing）栅格化（Rasterization）片段处理（Fragment Processing）像素操作（Pixel Operations）统一着色器架构（Unified Shader Architecture）把顶点处理（Vertex Processing）、图元处理（Primitive Processing）、片段处理（Fragment Processing）这些任务，都交给这些 S

斯武丶风晴

2019/12/16

9520

blender模型(sklearn模型融合)

机器学习神经网络深度学习人工智能腾讯云测试服务

机器学习中很多训练模型通过融合方式都有可能使得准确率等评估指标有所提高，这一块有很多问题想学习，于是写篇博客来介绍，主要想解决：

全栈程序员站长

2022/08/01

7210

blender模型(sklearn模型融合)

编程算法 keras 批量计算

文件下载：https://download.csdn.net/download/sxf1061700625/19229828

小锋学长生活大爆炸

2021/06/11

5190

Keras学习（一）—— Keras 模型（keras.model): Sequential 顺序模型和 Model 模型

keras https 批量计算网络安全 numpy

首先了解Keras的一个很好的途径就是通过文档 Keras 中文文档地址： https://keras.io/zh/models/about-keras-models/

全栈程序员站长

2022/11/15

1.6K0

Python sklearn模型选择

https://blog.csdn.net/finafily0526/article/details/79318401

统计学家

2019/07/22

1.3K0

常用机器学习代码汇总

机器学习决策树 import 模型数据

皮大大

2023/08/25

4130

算法模型自动超参数优化方法！

机器学习神经网络深度学习人工智能腾讯云测试服务

学习器模型中一般有两类参数，一类是可以从数据中学习估计得到，我们称为参数（Parameter）。还有一类参数时无法从数据中估计，只能靠人的经验进行设计指定，我们称为超参数（Hyper parameter）。超参数是在开始学习过程之前设置值的参数。相反，其他参数的值通过训练得出。

Datawhale

2021/01/07

3.1K0

Keras保存模型

一、不保存模型只显示大概结构 model.summary() 这个函数会打印模型结构，但是仅仅是打印到控制台。

润森

2019/11/04

1K0

sklearn输出模型参数_rfm模型算法

正则表达式编程算法

最近会开始一个新的系列，sklearn库中各模型的参数解释，本篇主要讲述最基础的LR模型。

全栈程序员站长

2022/11/04

7410

sklearn输出模型参数_rfm模型算法

Sklearn参数详解—LR模型

总第105篇最近会开始一个新的系列，sklearn库中各模型的参数解释，本篇主要讲述最基础的LR模型。模型参数详解逻辑回归： sklearn.linear_model.LogisticRegression(penalty='l2', dual=False, ‍tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver

张俊红

2018/06/11

7.5K0

利用 SKLearn 重建线性模型

线性模型通常是训练模型的一个比较好的起点。但是由于许多数据集的自变量和因变量之间并不是线性关系，所以经常需要创建多项式模型，导致这些模型很容易过拟合。正则化则是减少多项式模型过拟合的一种方法。

AI研习社

2018/07/26

3460

利用 SKLearn 重建线性模型

【资源分享】Sklearn,Keras与Tensorflow机器学习实用指南

tensorflow scikit-learn 编程算法机器学习深度学习

我们都知道：Scikit-Learn，Keras，Tensorflow是机器学习工具链的重要组成部分。本书的作者，根据上述三个机器学习工具箱，融汇贯通成一个个机器学习实例，让即使对人工智能了解不多的程序员也可以使用简单高效的工具来实现机器学习任务。

磐创AI

2020/03/05

8720

机器学习模型的超参数优化

机器学习深度学习人工智能编程算法神经网络

模型优化是机器学习算法实现中最困难的挑战之一。机器学习和深度学习理论的所有分支都致力于模型的优化。

deephub

2020/05/09

2.9K0

Brute force grid search暴力网格搜索

In this recipe, we'll do an exhaustive grid search through scikit-learn. This is basically the same thing we did in the previous recipe, but we'll utilize built-in methods.

到不了的都叫做远方

2019/12/16

1.2K0

结合Sklearn的网格和随机搜索进行自动超参数调优

scikit-learn 机器学习神经网络深度学习人工智能

什么是超参数? 今天，隐藏着数学世界的算法只需要几行代码就可以训练出来。它们的成功首先取决于训练的数据，然后取决于用户使用的超参数。这些超参数是什么? 超参数是用户定义的值，如kNN中的k和Ridge

deephub

2021/03/10

2.2K0

结合Sklearn的网格和随机搜索进行自动超参数调优

Scikit-learn 基础

编程算法 scikit-learn 机器学习监督学习无监督学习

Scikit-learn 是开源的 Python 库，通过统一的界面实现机器学习、预处理、交叉验证及可视化算法。

iOSDevLog

2019/05/29

8570

关于如何使用以下技术微调机器和深度学习模型的简介：随机搜索，自动超参数调整和人工神经网络调整

机器学习 scikit-learn 神经网络深度学习人工智能

模型参数定义了如何使用输入数据来获得所需的输出，并在训练时进行学习。相反，超参数首先确定了模型的结构。

代码医生工作室

2019/09/29

2.2K0

关于如何使用以下技术微调机器和深度学习模型的简介：随机搜索，自动超参数调整和人工神经网络调整

相似问题

Sklearn RandomizedSearchCV，评估每个随机模型

143

sklearn和RandomizedSearchCV给出了酸洗错误

19

带推理的TensorFlow + Keras多图形处理器模型

18

Sklearn RandomizedSearchCV OSError：[Errno 5]输入/输出错误

11

Keras模型的图形表示

12

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例