三层神经网络前向后向传播示意图

BP 神经网络信号前向后向传播示意图

主要参考博文 BP神经网络后向传播算法

本文主要分析下面的三层神经网络的信号传播，两个输入，两个隐层，一个输出

网络中每个紫色模块是一个神经元，它包括信号输入求和，求和后的信号再经过激活函数处理（一般是非线性激活函数），得到输出

下面开始训练网络的流程，训练网络首先需要训练数据，对于我们这里的网络，训练数据为若干组 （x1,x2）及对应的期望输出 z 。

我们首先来进行前向信号传播计算，其中第一隐层计算如下：

第二隐层计算如下：

输出层的信号计算如下：

下面开始误差后向传播计算,输出层的误差如下

第二隐层的误差信息计算如下：

第一隐层的误差信号计算如下：

最后根据误差信号进行权值更新，如下图所示：