动手深度学习：线性回归

之前我们把 MXNet 环境配置中好了之后，我们今天来体验一下第一个实例：线性回归。

你也许会问，线性回归也可以深度学习嘛？

其实线性模型是最简单的神经网络模型。神经网络是由若干节点（神经元）和有向边组成的集合，我们把其中一些节点作为层，每一层都从前一层获取输入，然后输出给后一层使用，而我们的线性回归就是一个两层神经网络。

换做数学公式就是：$$Y = Xw + b$$这里我们就用一个线性回归的栗子来体验一下 MXNet 模拟线性回归的过程，x 为长度 2 的向量，y 是长度为 1 的向量：

OK，Let‘s do it.

创建数据集

首先我们生成一堆数据集用来训练用，生成用上述的公式：

这里 noise 符合标准差为 0.01 的正态分布

我们生成 1000 个样本，代码如下：

解释一下

这里 函数负责帮我们根据向量形状随机生成样本值，例如上述：

首先根据 x 向量的形状生成 1000 组长度为 2 的 x 向量；

其次根据 y 的形状生成正太分布的 noise；

最后根据 x 向量和 noise 生成 y 向量。

好了，我们现在生成了 1000 组样本，我们可以用 Python 绘图包 ，分别生成 X[:,0]、X[:,1] 和 Y 的散点图：

形状大概是下面这个样子的。

读取数据

上面我们生成了样本集，我们现在需要从样本集中抽样进行训练，在 MXNet 框架中可以使用 gulon 的 data 模块来读取数据，假设我们一次从样本集合中取出 10 个样本进行计算。

定义模型

在 MXNet 中预定义了大量层，记得我们之前说过线性回归是一个两层神经网络，且就像之前画的图一样，所有输入的节点与后续节点相连，这样的线性模型在 MXNet 中对应的就是 层。

而我们在构建模型的时候只需要选择不同的层组合，并用一种方式让各层串联起来形成神经网络。MXNet 中有一种简单的连接方式叫做 Sequential 。

Sequential 会依次执行每一层，将上一层的输出作为输入提供给下一层

好了，我们现在来定义模型。首先定义一个使用 Sequential 的空模型。

然后我们在这个模型中加入层，也就是我们线性回归模型对应的 Dense 层。Dense 层唯一需要指定的就是输出节点的个数，咱们这个栗子中，输出节点就是 1。

注意，我们这里并没有指定这个层输入节点有多少，它会在我们给数据的时候自动识别。

初始化模型参数

原则上我们需要指定模型的各个参数，这里我们采用默认的随机初始化方法。

损失函数

我们需要定义一个损失函数来衡量预测目标和真实目标之间的差距，这里我们使用常见的平方误差。

优化

然后我们定义一个优化函数，我们可以把它理解成训练器，让预期目标不断接近真实目标。这里采用的是随机梯度下降（SGD）算法，并定义学习率是 0.1（PS：每一步，我们将模型参数沿着梯度的反方向走特定距离，这个距离一般叫学习率（learning rate）） 。

不理解随机梯度下降可以自行 Google 哟

训练

终于到了训练部分了，一般我们在训练的过程中需要迭代数据数次，每一次迭代中，我们随机读取固定个数据，计算梯度并更新模型的参数。在 MXNet 中我们用 函数来更新模型，这里我就迭代 5 次，每次取 10 组数据来训练一下。

训练结果

训练完我们来看看训练结果。

在咱们这个两层神经网络中，我们需要的是训练的 x 的参数，也就是第一层的参数。

结语

至此，我们的第一个深度学习栗子：线性回归就完成了。

完整代码在这里：https://github.com/MrNullPoint/MXNet/tree/master/LinearRegression