ML算法——梯度下降随笔【机器学习】

11、梯度下降

• 梯度下降如何帮助参数优化？ 梯度下降是一种用于参数优化的常见方法。它的基本思想是通过迭代地更新参数，以减小损失函数|代价函数的值，从而找到一个最优解。
• 梯度方向：→|向右|正向 ←|向左|反方向
• 梯度方向是指函数在该点处变化率最大（上升或下降最快）的方向。在这个梯度方向来迭代更新参数，函数值可以更快的下降到局部最小值。
• 梯度的模长为函数在该方向上的变化率。
• 梯度下降数学公式

其中，J是关于Θ的一个函数，当前位置为Θ_0 点，要从这个点走到J的最小值点，也就是山底。首先我们先确定前进的方向，也就是梯度的反向，然后走一段距离的步长，也就是α，走完这个段步长，就到达了这个点！

• 梯度下降和模型拟合的关系？

梯度下降和模型拟合不是一回事。梯度下降是用于模型参数估计的一种优化算法，用于寻找损失函数的最小值。模型拟合是一种通过已知的观测数据，来近似模拟自变量与因变量之间的关系，并进行模型的修正完善、预测等数据分析任务的过程。具体来说，模型拟合的主要思想是通过收集数据点对，利用近似准则，对各数据点之间的关系进行分析，拟合。在这个过程中，需要注意对原始数据进行变换，以使得拟合结果更加准确。 在机器学习中，通常使用梯度下降来进行模型参数的更新，以达到模型拟合的效果。

• 怎么找梯度图像中，最陡峭的方向？

最陡峭的方向便是梯度方向。数学理解，梯度实际上就是多变量微分的一般化。

梯度是一个向量,用<>包裹起来，梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向。 全微分的结果就是函数变化最陡峭的方向，变化率最大的方向常常作为梯度方向，所以全微分的结果可以作为梯度方向。在实际图像处理中，我们通常不直接使用函数的全微分来确定梯度方向，而是使用更高效的算法如Sobel、Prewitt、Scharr等来计算图像中每个像素点处的梯度幅值和梯度方向。

• 机器学习涉及到的凸函数是高数上的凸函数？

不是，甚至完全相反。 高数凸函数：

机器学习凸函数： 定义域是凸集， 对于定义域里面的任意x , y ，函数满足

其中，凸集： 集合C内任意两点间的线段也均在集合C内，则称集合C为凸集。