使用来自官方网站的CIFAR-10数据集进行梯度爆炸

文章/答案/技术大牛

发布

1回答

python、python-3.x、machine-learning、pytorch、horovod

我不使用torch vision.datasets.CIFAR10的CIFAR10数据集，而是自己拆分数据集。因此，我从official website下载了数据集，并拆分了数据集。d = {b'data': test_data, pickle.dump(d, f) 然而，我发现如果我<em

浏览 26提问于2020-11-09得票数 1

回答已采纳

2回答

神经网络输入缩放

tensorflow、neural-network、pytorch、backpropagation

我在CIFAR-10数据集上训练了一个简单的全连接网络：import torch.nn as nnimport请注意，我没有对输入进行任何白化(没有每个通道的均值减法) 接下来，我将模型输入放大了255倍，用outputs = net(inputs*255)替换了outputs = net(inputs)。我查看了梯度，它们似乎在几次迭代后呈爆炸性增长，导致所

浏览 0提问于2020-04-27得票数 0

1回答

如何根据特定的类名加载CIFAR-10数据集？

python、machine-learning、tensorflow、deep-learning、keras

我使用CIFAR-10数据集进行深入学习，但我只想为果树类指定我的数据集。我们知道我们使用了：加载所有CIFAR-10数据集。如何仅为水果类而不是所有数据加载数据？

浏览 2提问于2016-11-18得票数 2

回答已采纳

1回答

如何解开CIFAR-10，加载批处理和拆分数据集？

python-3.x、machine-learning、conv-neural-network、pickle、upickle

使用卷积神经网络对CIFAR-10数据集进行分类。我不能理解： 1)在何处提取CIFAR-10数据集文件2)如何使用pickle框架加载批次3)将数据集拆分为训练数据和测试数据请帮助编写代码，在jupyter笔记本上使用python 3.6。可能是因为我在错误的位置保存了CIFAR-10文件。

浏览 23提问于2019-04-02得票数 0

1回答

IMAGENET -是否可以使用仅包含10个类的图像来训练caffe alexnet

caffe、conv-neural-network、imagenet

我使用caffe/examples/cifar10来训练用于分类的模型，我想使用这个结果来进行可视化。但我发现cifar10图像都是32*32，这太小了，不能进行单位可视化。现在，我想尝试使用另一个数据集，即Imagenet。但在我的例子中，我只需要十个类，而不是一千个类，就像cifar-10一样。我发现IMAGENET提供的数据太大了，无法下载并提取这十个类

浏览 0提问于2017-05-31得票数 1

1回答

在AWS上培训的成本？

amazon-web-services、amazon-ec2、deep-learning、resnet

我来自学术界，在那里我可以使用HPC集群。现在我正在尝试在AWS上部署一些东西。我知道你可以要求更快或更多的GPU，所以我也不知道速度与成本的关系；这里的任何见解也是值得感谢的。在CIFAR-10上训练ResNet-50

浏览 0提问于2018-02-07得票数 0

1回答

为什么我的损失函数倾向于不协调，但是当x和y的协调被交换时，它是很好地工作的。

python-3.x、pytorch、linear-regression、gradient-descent

根据个人的工资来计算预期的工作年限。数据集的可视化可在下面查看。参数如下所示。input_dim, output_dim) out = self.linear(x)当我将我的训练功能应用到数据集时如果测试列车拆分如下，请注意元组的顺序。:为什么会发生这种情况，AFAIK模型并不关心数据，因为它试图

浏览 4提问于2022-05-08得票数 2

1回答

Keras精度和实际精度正好相反。

python、machine-learning、keras、neural-network、artificial-intelligence

我正在学习神经网络，目前正在使用Keras库在CFAR-10数据集上实现对象分类。当我训练我的模型超过50个时代时，我的精度达到了0.9的90%。此外，当我使用测试数据集对其进行评估时，我获得了大约的准确性。90%。] 但是，当我通过对每个测试数据图像进行预测来手工计算精度时，我获得了大约11%的准确性(这与随机进行预测

浏览 0提问于2019-06-02得票数 3

回答已采纳

1回答

用CIFAR-10数据集在VGG16中进行TensorFlow训练，不能获得很好的精度

tensorflow

我是个学习ML的初学者。我正在研究VGG16模型在TensorFlow中。我的书房是。它们都很好用。但是现在我想模拟案例2.的过程，尝试使用VGG16 16-A模型来进行CIFAR-10数据<

浏览 0提问于2018-11-26得票数 2

回答已采纳

1回答

适合于测试机器学习算法的样本数据集

dataset、clustering

我是机器学习的新手，我刚刚看到了sci的包。在这个有趣的页面上，有许多玩具数据集用来测试不同的聚类算法。每个数据集都有一个独特的模式，根据数据集的不同，有些算法的性能优于其他算法。我想问为什么选择这些数据集作为算法的测试？它们的哪些特性适合用于测试？是否有其他具有公共属性的<

浏览 0提问于2020-04-27得票数 2

回答已采纳

1回答

在回归神经网络的Keras中使用SGD优化器的NAN值

python、optimization、keras、nan、sgd

朋友, 我试着训练一个神经网络来进行回归。当使用Keras的SGD优化器类时，在第一步之后，我突然从我的网络中获得了NaN值作为预测。在我使用Adam优化器类进行训练之前，一切都运行得很好。我已经尝试改变SGD的学习率，但在第一步和编译后，仍然会出现NAN值作为模型预测。因为我的训练是使用Adam优化器的，所以我不认为我的输入会导致NAN，我已经检查了我的输入值是否有NAN，并删除

浏览 4提问于2021-01-10得票数 0

1回答

YOLO v1中梯度爆炸问题的求解

python、pytorch、object-detection、nan、yolo

现在，我正在尝试使用YOLOv1代码来训练对象检测。一开始我使用的是momentum和weight_decay，但是随着时间的推移，训练的损失变成了NaN。据我所知，这是由于梯度爆炸，所以我寻找了一些方法来摆脱这个NaN，然后我忽略了momentum和weight decay。因此，我没有得到任何NaN，但是我的模型不能像我预期的那样收敛。我使用VOC 2007和2012年的数据<

浏览 10提问于2021-06-17得票数 2

回答已采纳

1回答

用CIFAR-10培训Resnet所需的时间

tensorflow、neural-network、deep-learning、resnet

我正在编写一个神经网络，在CIFAR-10数据集上训练Resnet .论文提到了大约60000个时代的培训。此外，这需要多长时间来训练(假设CPU仅为20层或32层ResNet)？按照上面对一个时代的定义，似乎需要很长的时间. 我期待的东西大约2-3个小时，这相当于大约10个通过50000图像训练集

浏览 0提问于2018-09-02得票数 1

回答已采纳

1回答

在LSTM中处理长时间步长序列

python、tensorflow、machine-learning、keras、lstm

我正在尝试使用LSTM来预测关于时间步长序列的信息。我的数据看起来是这样的:我有几个相对较长的序列(>100000个时间步)的不同样本，我正在尝试解决N类分类问题，其中每个样本都被标记为不同的ID。现在，我正在尝试了解如何正确地准备我的数据，以便LSTM分别对每个样本进行训练。但周围的许多博客文章(如)告诉我，在非常长的序列上训练LSTM可能会损害训练。因

浏览 0提问于2019-03-18得票数 1

2回答

GD、批GD、SGD和小型批处理SGD有什么不同？

machine-learning、neural-network、gradient-descent

这四种梯度下降函数之间有何不同？批GD小批量SGD

浏览 0提问于2019-06-15得票数 3

回答已采纳

2回答

Int8 (字节)操作对深入学习是如何有用的？

deep-learning、tensorflow、theano

Nvidia计划在他们的泰坦卡上增加对int8操作的硬件支持，并瞄准深度学习。我试图了解它是如何有用的，以及哪些类型的网络将从中受益。我知道FP16而不是FP32对DL应该是有用的，但不确定int8能做什么。有一些研究表明，您可以对FP32进行完全精确的训练，然后将其舍入一个字节--但这不会加速或减少训练时的内存占用。

浏览 0提问于2016-07-25得票数 3

1回答

用于训练具有较小图像尺寸的Alexnet的参数微调

caffe、conv-neural-network

Alexnet打算使用227x227x3的图像大小。如果我想训练图像尺寸更小，比如32x80x3，需要微调的参数是什么？我最初用64x80x3的图像大小进行训练，除了第一个Conv1层中的步幅外，所有参数都与提供的相同，它被更改为2。我实现了非常高的测试精度，高达0.999。然后在实际使用中，我也获得了相当高的检测准确率。然后我更喜欢使用较小的图像尺寸32x80x3。我使

浏览 1提问于2015-08-20得票数 0

2回答

表现得像tfp.math.diag_jacobian的tf.gradient

python、tensorflow、diagonal、gradient

我尝试使用来自输入数据的损失函数的梯度来计算输入数据的噪声：loss是一个大小为(n X 1)的数组，其中n是数据集的数量，m是数据集的大小，输入是(n X m)的数组，其中m是单个数据集的大小。我

浏览 0提问于2019-03-12得票数 1

1回答

你能总结渐变并成批应用吗？

machine-learning、tensorflow、backpropagation

在那里，训练数据是在一集中收集的。当插曲完成时，数据被用来进行反向传播。但是，没有将计算出的梯度应用到模型中，而是将它们存储在缓冲区中。在应用之前，会对多集的梯度进行汇总。我不知道这样做是否合理。通常情况下，如果模型在第一集数据训练后非常好，则其他集的梯度将接近0(没有变化)。如果您使用教程

浏览 0提问于2018-04-26得票数 0

1回答

TFLearn -到NaN丢失的大型数据集

python、machine-learning、tensorflow、deep-learning、tflearn

我有一个大的(对我来说)数据集，大约有45万个条目。28.0, 72.0, 464.0, 672.0, 0, 24.0, 4.0, 0, 28680.0, 0, 0, 18.0, 0, 0, 4319159.0, 24.0, 28.0, 16.0] 我正在使用尝试根据这些数据创建一个分类模型我是从下面的TFlearn 中得出这个结论的。这个程序在一小部分数据上运行得很好，250 0 s和2 5 0 1 s。我有80%的准确率，我认为增加一吨的<

浏览 4提问于2016-12-06得票数 2

点击加载更多