验证损失在再次下降之前先上升

、

在我的训练失败中，我一直有一些奇怪的行为，我不知道是什么原因造成的。轴是损失与纪元。这里发生了两件事:首先，验证损失开始随着训练损失的减少而良好地下降，然后它们开始出现强烈的分歧。我假设这是某种形式的过拟合，即使验证损失在稍后会回落-这是正确的吗？然后，验证损失回落以满足训练损失-在这里，它与训练损失的巨大峰值不谋而合。这是使用Adam优化器获得的，

浏览 7提问于2017-06-24得票数 0

1回答

验证损失既没有增加也没有减少。

、

通常，当模型覆盖时，验证损失会上升，而训练损失则会从过度拟合的角度下降。但就我的情况而言，训练损失仍在下降，但验证损失保持在同一水平。因此，验证的准确性也保持在相同的水平，但训练的准确性上升。同样的行为，当我试图从二维图像重建三维体积，但在较高的损失和较低的精度。有人能解释一下为什么验证损失不会从过度拟合的角度

浏览 4提问于2020-11-29得票数 2

1回答

我的损失先是减少了几个时期，然后开始增加，然后上升到某个点，然后停止移动。我想现在它已经趋同了。现在，我们可以说我的模型不够合适吗？因为我的解释是，(幻灯片93 )如果我的损失下降，然后增加，这意味着我有一个较高的学习率，每两个时代我就会衰退一次，因此，在经历了几个时代的损失之后，因为现在的学习率很低，因为我的学习率还在下降，现在的损失应该重新开始减少我们能不能说，由于我的模型不合适，损失不会进一步减少吗？

浏览 3提问于2016-08-30得票数 0

回答已采纳

1回答

我应该使用损失或准确性作为早期停止的标准吗？

、、、

我正在学习和试验神经网络，并希望从更有经验的人那里获得以下问题的意见：然而，过了一段时间，损失不断减少，但精度突然回落到一个低得多的低水平。它是‘正常’或预期的行为，准确性上升很快，并保持高位突然回落？即使验证损失

浏览 1提问于2016-05-10得票数 13

1回答

深层神经网络中收敛的定义是什么？

、

在深度神经网络的背景下，是否有收敛的定义？

浏览 0提问于2023-05-03得票数 1

1回答

什么是列车损失、有效损失和NNs中的列车/Val均值

、、、

在训练神经网络的过程中，我经常看到这样的输出：--------|--------------|我在基本的cnn上看到了很多教程，但我还没有遇到过详细解释这一点的教程。

浏览 1提问于2016-05-01得票数 12

回答已采纳

1回答

为什么我的验证损失在上升，而我的验证准确性也在上升？

、

我使用的是tensorflow，还有一个CNN，它有12个conv层和1个密集层，在softmax稠密层之前。我正在使用数据增强以及批处理规范化。在几百个历次之后，我对验证集的准确率最高达到92.73 %。验证损失略有上升，因为我训练更多。一个时代给了我0.295的损失，验证的准确率为90.5%。我

浏览 0提问于2020-01-23得票数 3

回答已采纳

1回答

在用Keras训练单个批次时，精度会降低吗？

、、、、

========] - 1s 8ms/step - loss: 0.6630 - acc: 0.9735，但有时(通常是后期批)精度下降

浏览 0提问于2019-08-03得票数 0

回答已采纳

1回答

Keras神经网络在~0.5精度下的运动预测

、、、

我在一些经典数据集上做了一些模型，比如MNIST和MNIST时尚，这些模型工作得很好，并且想把一个更困难的问题作为一个挑战来解决:体育/足球预测。所有数据点(包括不是一个热编码的数据)都被放置在相同大小的np数组中。因此，所有数据都填充零，直到它们具有相同的大小，以保证每个(10, 480)数据集的输入形状相同。此外，我的验证准确性以及损失都非常嘈杂，正如您从这个图中可以看到的那样(在这里，我尝试了100次以上的训练)：我希望有一些噪音(围绕训练数据的水平)--由于运动的随机性因素--但没有这么大的噪音更新

浏览 0提问于2022-08-15得票数 0

1回答

交叉损失与精算的关系

、、、

在一个简单的版本中，这可以很好地工作，但当我让图像变得更难时，我现在遇到了这个现象(我让它在晚上训练)：有人能给我解释一下吗？

浏览 3提问于2017-02-16得票数 0

2回答

弄清楚损失和精确曲线

、、、、

优化器为SGD，学习速率为0.1，Nesterov动量为0.9，重量衰减为1e-4 .在60,120,160年代，学习率降低到一个⅕。最初，这些曲线都很好，很好；这意味着训练和验证损失在减少，准确性也在增加。在120 (其中LR减少)之后，val。损失和准确性开始改善几个时代(绿色盒子)

浏览 0提问于2020-08-19得票数 3

2回答

我的验证损失最终会下降吗？

、、、

到目前为止，训练损失正在稳步下降，我的训练精度也在提高。我的验证损失略有下降，但波动很大。我的验证精度正在以与我的训练精度大致相同的速度上升。随着网络变得更加“自信”，我最终会看到验证损失的大幅下降吗？我知道在不知道更多细节的情况下，这是一个很难回答的问题，但是你以前在你的模型中见过这种行为吗？

浏览 0提问于2020-10-18得票数 1

2回答

解释Keras损失和准确度图

、、

我在解释这些损失和准确度图表时遇到了一些困难。例如，在第一个示例中，验证损失值相当低(它已经低于0.35)，但随后迅速偏离。另一方面，在第二种情况下，验证从较高的值开始，然后似乎达到平台期(它不会像第一种情况那样开始增长)。此外，第四张图似乎有些奇怪，因为验证损失和验证精度似乎都随着时间的推移而下降。先谢谢你，安德里亚

浏览 1提问于2020-01-05得票数 0

1回答

我应该选择哪种学习率？

、、、、

我在2d图像上训练一个分割模型，Unet++，现在我正在寻找最优的学习速度。模型的主干是Resnet34，我使用Adam优化器，损失函数是骰子丢失函数。：验证损失和训练损失似乎下降缓慢。然而，验证损失并不是振荡的(它几乎总是在减少)。验证和训练损失在前2/3年代迅速下降。经过6或7个周期后，验证损失再次增加

浏览 0提问于2020-11-13得票数 3

回答已采纳

1回答

Tensorflow对象检测- mAP稳定，但总损失正在下降。继续训练？

、、、、

在4个类上使用了大约20,000张图像，经过160K的步骤后，mAP相当稳定，但总损失仍然在下降(尽管非常缓慢)。我是否应该继续训练，直到总损失停止下降或上升？

浏览 26提问于2019-06-24得票数 1

回答已采纳

1回答

验证损失在几个时期后增加

、、、

Duration: 0:10:12.625819验证损失不应该随着时间的推移而减少吗那么，为什么先下降后再增加呢？任何帮助都是非常感谢的！

浏览 9提问于2021-12-05得票数 1

6回答

梯度下降和梯度上升的区别是什么？

、、

我找不到任何关于梯度上升的东西。任何关于梯度上升的好链接，展示它与梯度下降的不同之处都会有所帮助。

浏览 1提问于2014-03-24得票数 23

1回答

logistic回归的梯度下降实现

、、、、

目标背景📷导出梯度下降，如图中所示。Typo fixed as in the red in the picture.交叉熵对数损失为- \left [ylog(z) + (1-y)log(1-z) \right ]实现代码，但是它说是不正确的

浏览 0提问于2021-12-07得票数 3

1回答

是否应该在使用model.compile()之前运行model.load_weights()，如果模型只发生了轻微的变化，比如退出？

、、

通过数据集进行近24个历次的训练和验证，一次间歇地训练和验证8个周期，并在每个间隔之后累计保存权重。我观察到一个持续下降的列车&测试损失在前16个时期，测试损失持续下降，而测试损失上升，所以我认为这是过度拟合的情况。为此，我试着恢复训练，在经历了16个时期后，随着超参数的变化，我尝试恢复训练，说，增加了dropout_rate，。我看到训练损失甚至更高，这应该是最初的(在训练中随机节点的不活

浏览 0提问于2018-05-16得票数 1

1回答

为什么更多的时代会使我的模型变得更糟？

、、、、

我的大部分代码都是基于文章的，我想问的问题很明显，但在我自己的测试中也是如此。它是一个具有LSTM层的序列模型。这是另一幅图，但这一次是用更多的数据来训练10个年代的模型。是什么导致了这一切，我该如何解决呢？另外，我发送的第一个链接在底部显示了同样的结果--1时代很棒，3500年代很糟糕。是什么导致了这个问题？

浏览 0提问于2018-07-16得票数 0

回答已采纳

点击加载更多