大家好,欢迎来到专栏《AutoML》,在这个专栏中我们会讲述AutoML技术在深度学习中的应用,这一期讲述在优化方法选择中的应用。
作者&编辑 | 言有三
要成功训练一个深度学习模型,正确的优化策略是非常重要的,如果使用不当结果会产生很大的差异,今天来介绍AutoML与优化相关的问题。
1 Neural Optimizer Search
Neural Optimizer Search[1]是一个自动搜索优化方法的框架,它使用强化学习方法设计的RNN结构控制器进行学习,该控制器在每一步中给优化器生成权重更新方程,从而实现最大化模型准确率,示意图如下:
在搜索空间中包含sgd,rmsprop,adam等优化方法,这些方法都可以被表示为一个相同结构的树,如下:
因此一个优化器的应用可以被表示为5个操作,分别是选择op1,op2,两个操作的幅度函数u1,u2,以及最后对这两个操作的综合。
因此,不管选择什么优化器,完成一次优化步骤都是要做以上的5次操作,那么如果可以学习到这5次操作,就完成了一个优化器的搜索,搜索流程如下:
领取专属 10元无门槛券
私享最新 技术干货