BAT面试题25：说说梯度下降

BAT面试题25 梯度下降

有些人提到机器学习的优化，就会想当然认为就用梯度下降，还有些认为只能用梯度下降来优化残差函数。除此外，梯度下降有没有使用前提条件？

梯度下降只不过是万千优化算法模型中的一种，优化问题还有很多很多的经典和常用的模型，比如拉格朗日松弛，比如分支定界，比如启发式模型等等，那么为什么机器学习就选择了梯度下降，或者给我们的印象中机器学习的优化问题就只有梯度下降。由此可见梯度下降的确是一种高效的求解优化问题的模型，不过它一样有使用前提。

梯度下降只能优化凸函数或凸集的目标函数，这是一定要注意的，可以翻看所有使用梯度下降的机器学习算法，进一步体会验证。

如果目标函数不是凸函数，那么就不能使用梯度下降。对于优化问题而言，“凸”这个特性真的是不能再好了。

凸函数

凸函数的数学定义：

知道这些后，让我们回忆梯度下降的实施步骤。

以上 J 就是逻辑回归的目标函数，求出对每一个参数的偏导并求反，此为梯度下降的方向：

通过上面的公式更新参数，迭代，直到稳定为止。这些就是梯度下降的主要步骤。

以上步骤相信大家都不是问题，重要是注意它使用的前提，凸特性。

获取本公众号的所有精华资料和文章分类，只需公众号界面底部输入框中，输入： i