我有一个5-5-2的反向传播神经网络,我正在训练,在阅读了LeCun的这个令人敬畏的LeCun后,我开始实践他提出的一些想法。
目前,我正在用我自己设计的10倍交叉验证算法来评估它,基本上是这样的:
for each epoch
for each possible split (training, validation)
train and validate
end
compute mean MSE between all k splits
end
我的输入和输出是标准化的(0-均值,方差1),我使用的是tanh激活函数。所有网络算法似乎都能正常工作:我使用相同
我正在使用Python中的scikitlearn创建一些模型,同时尝试不同的内核。我惊讶地看到rbf在一秒钟内就适应了,而线性花了一分钟,多花了几个小时。有人能解释为什么要帮我吗?
我的代码:
import numpy as np
from sklearn.svm import SVR
import matplotlib.pyplot as plt
from sklearn.metrics
import mean_squared_error, r2_score
f = open(datafile)
X = np.empty([0,1], dtype = int)
y = np.array([