深度学习工程师（五）——逻辑回归中的梯度下降

单个实例的梯度下降

    首先先来回顾一下逻辑回归的公式，下面列出来了。

    假设我们只有两个特征，即特征向量是二维的，那么计算图就是为下面这样的。

    对损失函数求导过程如下所示，按左边的数字，一步一步看。

    最后就可以得到下面的结果。

    然后就对参数进行更新。

以上过程就是对单个实例的一次梯度更新。

    上面的算式让我花了很久的时间，确实太久没有碰微积分了，一边算还一边查公式，另外注意细节，我因为有个求导忘一步，求了很多次，都差了个负号，都是泪哇，上面的算式已经足够保证可以看懂了。另外上面有一些符号可能写的有问题，应该不影响，比如求偏导和微分一些符号有写串了，反正不影响交流，数学符号是美丽的，简洁精炼且不存在语言障碍。

m个实例的梯度下降

    有了上面单个实例的梯度下降，对于全体训练样本的梯度下降就显得简单了。m个实例，即对每个实例进行梯度下降，然后求和取平均值。如果具体到编程，那么很显然，需要使用一个for循环去遍历这m个实例，因此相对于单个实例，m个实例时要多一层循环，单个实例只需要遍历所有的特征就可以了。

    实际上我们的数据集很大，在平时的编程中，我们都大量的使用for、while循环，但是一旦数据集很大，这样就会导致我们的算法运行的很慢，时间还是宝贵的，所以不能在程序中显式的使用for循环，而是采用向量化技术，下一篇谈向量化技术。