AI数学基础-最优化方法

在学习AI机器学习中，

找到最优的拟合参数是模型确定的最终目的，

本文列举AI中需要弄懂的最优化算法以及其wiki地址，供大家收藏学习翻阅。

优化方法简介

数学优化：在数学，计算机科学和运筹学，数学优化或数学规划，是从一些可用的替代方案中选择最佳元素。

https://en.wikipedia.org/wiki/Mathematical_optimization

损失函数：在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学中，损失函数或成本函数是将一个或多个变量的事件映射到实数上的函数，该实数直观地表示与该数据相关联的一些“成本”。

https://en.wikipedia.org/wiki/Loss_function

正则化：在数学，统计学和计算机科学中，特别是在机器学习和反问题领域，正规化是引入附加信息以解决不适定问题或防止过度拟合的过程。

https://en.wikipedia.org/wiki/Regularization_(mathematics)

梯度下降法

梯度下降法：梯度下降是用于找到函数最小值的一阶迭代优化算法。为了使用梯度下降找到函数的局部最小值，需要采用与当前点处函数的梯度（或近似梯度）的负值成比例的步长。

https://en.wikipedia.org/wiki/Gradient_descent

共轭梯度法

共轭梯度法:在数学中，共轭梯度法是一个算法的数值解特定的线性方程组，即那些矩阵是对称和正定的

https://en.wikipedia.org/wiki/Conjugate_gradient_method

牛顿法

牛顿法：在微积分中，牛顿方法是一种迭代方法，用于求出可微函数f的根，它是方程f（x）= 0的解。更具体地说，在优化中，牛顿方法应用于两次可微函数f的导数f'，以找到导数的根（f'（x）= 0的解），也称为f的平稳点。

https://en.wikipedia.org/wiki/Newton%27s_method_in_optimization

拟牛顿法

拟牛顿法：拟牛顿方法是用于找到零或局部最大值和函数最小值的方法，作为牛顿方法的替代方法。如果Jacobian或Hessian不可用或者在每次迭代时计算成本太高，则可以使用它们。“完全”的牛顿方法需要雅可比行列式才能搜索零，或者需要Hessian才能找到极值。

https://en.wikipedia.org/wiki/Quasi-Newton_method

约束非线性优化

拉格朗日乘子法：在数学优化中，拉格朗日乘子的方法（以约瑟夫- 路易斯拉格朗日命名）是一种策略，用于找到受到等式约束函数的局部极大值和极小值（即，受一个或多个方程具有的条件的影响）。

https://en.wikipedia.org/wiki/Lagrange_multiplier

对偶优化：在数学优化理论中，对偶性或对偶性原则是优化问题可以从两个角度来看的原则，即原始问题或对偶问题。双重问题的解决方案提供了对原始（最小化）问题的解决方案的下限。一般而言，原始和对偶问题的最佳值不必相等。它们的差异被称为对偶差距。对于凸优化问题，在约束条件下，对偶间隙为零。

https://en.wikipedia.org/wiki/Duality_(optimization)

KKT条件

KKT条件:在优化理论中，KKT条件是非线性规划（nonlinear programming)最佳解的必要条件。KKT条件将lagrange乘数法（Lagrange multipliers）中的等式约束优化问题推广至不等式约束。

https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions

机器学习界网红书