CS231n-Loss Functions and Optimization（2）

优化的目的就是找到一个 可以使损失函数达到最小值。下面介绍几种optimization的方法。

1. Random search

随机生成一些W，找到那个表现最好的weight。这个方法非常差，实际中不会用到。

这种方法下，最好的W得到的正确率为15.5%。

2.Following the Gradient

想象我们在下山的时候，一般都是沿着下降坡度向下走。因此为了让loss function能够以最快的速度下降，就要找到斜率最大的方向，这个方向就和损失函数的 有关。梯度就是输入空间中每个斜率的向量，也被叫做 。多维空间下则是求 。一维空间中的求导公式为：

总结

Numerical gradient：approximate，很好写，但速度很慢。根据设定好的h更新w来计算当前w下的梯度。

Analytic gradient：精确，快速，error-prone。使用微积分，可以获得梯度的方向。

numerical gradient可以用作检查analytic gradient的正确与否，用于debug，这个过程叫做gradient check。

Gradient Descent梯度下降

首先我们随机设置W，在循环中计算损失函数和梯度，然后我们朝着梯度方向的反方向来更新W。（因为梯度方向本身是朝着最大增长的）

其中， 是个超参数，代表每次更新的时候，我们朝那个方向走多远。有时候被称作 ，是在训练过程中第一重要的超参数。

Stochastic Gradient Descent（SGD）

当训练集非常非常大的时候，我们需要算所有的loss再进行更新，运算会变得非常慢。因此在每次迭代中，我们提取训练集中一小部分数据，叫做 （通常取32/64/128），然后用这些minibatch来计算loss的和以及梯度。

Image Feature图像特征

想要将线性不可分的数据集变得线性可分，我们需要提取特征，进行特征转换feature transform，将数据映射进线性可分的空间。

几种特征提取的例子：

Color Histogram

直方图histogram这个概念是说，计算该pixel value下像素pixel的数量的和。也就是有多少个绿色的pixel，绿色的值就为几。

Histogram of Oriented Gradients（HoG）

（这块没仔细听，以下解释来自维基百科）

HOG描述器最重要的思想是：在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。具体的实现方法是：首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。为了提高性能，我们还可以把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后，能对光照变化和阴影获得更好的效果。

与其他的特征描述方法相比，HOG描述器有很多优点。首先，由于HOG方法是在图像的局部细胞单元上操作，所以它对图像几何的（geometric）和光学的（photometric）形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，作者通过实验发现，在粗的空域抽样（coarse spatial sampling）、精细的方向抽样（fine orientation sampling）以及较强的局部光学归一化（strong local photometric normalization）等条件下，只要行人大体上能够保持直立的姿势，就容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。综上所述，HOG方法是特别适合于做图像中的行人检测的。

Bag of Words

（这块没仔细听，以下解释来自维基百科）

词袋模型（英语：Bag-of-words model）是个在自然语言处理和信息检索(IR)下被简化的表达模型。此模型下，像是句子或是文件这样的文字可以用一个袋子装着这些词的方式表现，这种表现方式不考虑文法以及词的顺序。最近词袋模型也被应用在电脑视觉领域。

词袋模型被广泛应用在文件分类，词出现的频率可以用来当作训练分类器的特征。

在使用卷积神经网络后，我们不需要人为提取特征后，在最上层进行线性分类；因为卷积神经网络可以直接提取特征，并在每一层都使用分类。

本节课术语表