我有几个关于反向传播的问题。我正在努力学习神经网络理论的基础知识,并希望从小到小开始,构建一个简单的异或分类器。我读过很多文章,还浏览过多本教科书--但我似乎不能教这件事--异或模式。
首先,我不清楚反向传播的学习模式。这里有一些伪代码来表示我是如何训练网络的。让我们假设我的网络设置正确(即:多个输入连接到一个隐藏层,连接到一个输出层,所有连接都正确地连接起来)。
SET guess = getNetworkOutput() // Note this is using a sigmoid activation function.
SET error = desiredOutput - gues
我试图确保我使用的是正确的术语。下图显示了MNIST示例
X is 784 row vector
W is 784X10 matrix
b is a 10 row vector
The out of the linear box is fead into softmax
The output of softmax is fed into the distance function cross-entropy
这个神经网络有多少层?该示例中的input和hidden层是什么?
类似地,如果我的理解是正确的,那么层中有多少层?
编辑
@lejlot以下是否表示有1个隐藏层的3层NN?