梯度下降法gradient descent
是求解无约束最优化问题的一种最常用的方法,它是一种迭代算法,每一步需要求解目标函数的梯度向量。
是
上具有一阶连续偏导数的函数,要求解的无约束问题是:
, 其中
表示目标函数
的极小值点
,不断迭代更新
的 值,直至收敛
的值
,在迭代的每一轮根据梯度函数
计算梯度
,
时认为收敛
以下图为例,开始时我们处于黑色圆点的初始值(记为
),我们需要尽快找到函数的最小值点,最快的方法就是沿着坡度最陡的方向往下走
图源:https://www.nxpic.org/article/id-330329
由于
具有一阶连续导函数,若第
次迭代值为
,则可将
在
附近进行一阶泰勒展开:
其中
在
的梯度。 接着我们求出第
次的迭代值
:
其中
是搜索方向,取负梯度方向
,
是步长,需满足:
,梯度函数
,计算精度
的极小值点
,置
为
,当
时停止迭代,令
;否则,令
,求
,使
,计算
,当
或
时停止迭代,令
,回到步骤3
[1] 图源:https://www.nxpic.org/article/id-330329 [2] 统计学习方法
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有