我想了解更多关于神经网络训练的其他方法,我可以找到一些关于GA训练网络的文献,但是关于PSO训练的文献不多。这是如何工作的呢?
我有一个总体的想法:你创造了这么多的粒子群,并使用网络损失函数(如MSE)作为一个启发。粒子会移动到MSE最低的区域,然后你就有了网络的权重。
我了解一个在线的香草反向传播网络,以下是培训的总体思路:
for each epoch:
for each training example d:
feed-forward d through layers 0..n
find error e as a function of expected vs. ac
我试验了不同的建模方法,包括KNN、决策树、神经网络和SVN,并试图对我的数据进行拟合,看看哪种方法最有效。令我惊讶的是,决策树的最佳工作方式是训练精度为1.0,测试精度为0.5。无论训练精度为0.92,测试精度为0.42,神经网络的性能都是最好的,比决策树分类器低8%。
请有人解释一下,与决策树这样的建模技术相比,神经网络可能具有低精度的情况/情况。我尝试过不同配置的神经网络,比如:
1 hidden layer and 1 neuron : Train Accuracy 34% Test Accuracy 42%
7 hidden layers and 5 neurons in each