自适应训练率optimizer.minimize

文章/答案/技术大牛

发布

1回答

python、tensorflow

我是否需要重写model.fit()，或者是否有更简单的方法来实现自适应学习率。我猜，opt.minimize()没有使用自适应学习率。

浏览 46提问于2021-07-27得票数 0

1回答

用于二分类的不平衡训练样本(90%与10%) - Tensorflow

deep-learning、logistic-regression、loss-function

我有一个100,000的训练样本(有5个特征) (90,000分类为'0‘，其余分类为'1')对提高查准率/召回率有什么建议吗？, scores, scope="loss")train_op = optimizer.minimize

浏览 0提问于2018-09-22得票数 0

5回答

从tf.train.AdamOptimizer获取当前学习率

tensorflow

我想打印出我的神经网络的每个训练步骤的学习率。我知道Adam有一个自适应的学习率，但是有没有一种方法可以让我看到这一点(在tensorboard中可视化)

浏览 102提问于2016-05-03得票数 35

回答已采纳

1回答

测试学习率如何影响反向传播，人工神经网络

machine-learning、artificial-intelligence、neural-network、backpropagation、supervised-learning

我用Java创建了一个使用反向传播算法学习的人工神经网络，我制作了以下图表，显示了改变学习率如何影响网络训练所需的时间。这似乎表明，学习是非常不稳定的，因为它要么训练正确，要么很快就会卡住(反向传播将在1分钟或特定的错误阈值停止训练)。我想知道为什么网络如此不可预测，是不是势头太高了？我需要一个自适应的学习率吗？这是一个很好的例子，说明了局部最小值如何影响训练。这是我生成的图表：

浏览 1提问于2015-08-11得票数 0

2回答

如何在Python和Numpy中解决这个简单的线性回归产生的错误？

python、numpy、deep-learning、neural-network、linear-regression

因此，我正在尝试仅使用python和numpy创建一个简单的线性回归神经网络。我已经解决了大多数原始问题，除了网络的误差只会增加之外，它工作得很好。我的代码： import numpy as np def __init__(self,size): self.b = np.random.random(size[1]) r

浏览 24提问于2020-07-28得票数 0

2回答

Detection API tutorial https://tensorflow-object-detection-api-tutorial.readthedocs.io/en/latest/index.html来训练我的自定义模型按照以下说明，我已经使用了官方GitHub存储库和脚本train.py中的配置文件进行训练。我在配置文件中看到，学习率应该是自适应的。} momentum_optimizer_value: 0.9 dec

浏览 38提问于2019-04-16得票数 1

回答已采纳

4回答

如何为GradientDescentOptimizer设置自适应学习率？

python、tensorflow

我正在使用TensorFlow来训练神经网络。tf.square(out - out_))这里的问题是，我不知道如何为学习率或衰减值设置更新规则如何在这里使用自适应学习率？

浏览 56提问于2015-11-25得票数 108

回答已采纳

1回答

在Adam优化器中使用ReduceLROnPlateau是否毫无意义？

tensorflow、machine-learning、keras、deep-learning、tf.keras

据我所知，tf.keras.optimizers.Adam是一个具有自适应学习率方案的优化器。我没有基于Keras的Optimizer的内部工作方式，但在我看来，如果我们使用自适应优化器，为什么要使用它，如果我们使用这个给定的回调，那么对训练的影响是什么呢？

浏览 7提问于2021-02-23得票数 4

1回答

为什么我在McMahan的论文中创建了一个像FedAvg这样的非IID数据集，但这个数据集的测试精度只有0.5？

python、tensorflow、imbalanced-data、tensorflow-federated

我使用这个数据集来训练我的TFF模型。训练集的准确率约为0.99，而测试集的准确率仅为0.5左右。我试了很多次，但都没反应。然后我将relu()函数更改为leakyrelu()，并将优化器函数从SGD更改为Adam，但准确率也约为0.5。我不知道为什么。我知道非IID会导致准确率下降，而FedAvg可以缓解这种情况。但是为什么我得到的准确率这么低呢？

浏览 0提问于2020-04-15得票数 1

1回答

基于自适应学习的图像识别模型

machine-learning、image-recognition

我一直在使用Facenet模型( https://github.com/davidsandberg/facenet )，经过训练，我得到了很好的效果，每班40张图像。我用了100张图片来测试。目前面临的障碍是:假设在测试过程中，对于A类人的图像，它的准确率达到40%，我想将该图像添加到模型训练数据集中，并自适应地对模型进行训练，从而提高该人的准确率。这意味着将图像从测试集传输到培训集。

浏览 0提问于2019-09-10得票数 0

1回答

如何在MLPClassifier上实现拒绝

machine-learning、scikit-learn、neural-network

我已经训练了一个MLPClassifier来预测输入数据的类，它的工作精度很高，但现在我需要实现类似于“rejection”类的东西。

浏览 2提问于2016-12-04得票数 0

1回答

TensorFlow模型损失的近似周期性跳跃

python、tensorflow、machine-learning、keras、conv-neural-network

我正在使用tensorflow.keras来训练CNN来解决图像识别问题，使用Adam最小化来最小化自定义损失(一些代码在问题的底部)。我正在试验我需要在训练集中使用多少数据，我认为我应该看看我的每个模型是否都正确地收敛了。然而，当绘制不同训练集分数的损失与训练次数的关系图时，我注意到损失函数中存在大约周期性的峰值，如下图所示。在这里，不同的行显示了不同的训练集大小作为我的总数据集的一部分。随着我减小训练集的大小(蓝色、橙色、->绿色)，这些脉冲的频率似乎降低了，尽管振幅似乎增加

浏览 19提问于2020-05-20得票数 2

1回答

如何正确地建立神经网络训练以保证稳定的精度和损失

machine-learning、deep-learning、classification、statistics、pytorch

针对每一个时代，对训练数据加载器进行迭代，计算损失，优化等。提前感谢

浏览 0提问于2021-01-30得票数 1

回答已采纳

1回答

Tensorflow损失最小化正在增加损失

tensorflow、training-data、gradient-descent、tensorboard

- y)) # sum of the squaresoptimizer = tf.train.GradientDescentOptimizer(0.01)print("W: %s b: %s loss: %s"%(curr_W, curr_b, curr_loss)) 然而，当我将训练数据更改为

浏览 1提问于2017-04-01得票数 0

1回答

使用tf.estimator.Estimator时，步骤始终为0

tensorflow

我为MNIST写了一个简单的自动编码器，但不知何故，当我训练时，它一直说我在步骤0，即使损失值在减少，所以我猜模型正在接受训练。当然，由于它不计算步骤数，因此它不保存检查点，也不保存任何摘要。tf.losses.huber_loss(labels, preds) optimizer = tf.train.AdamOptimizer() return optimizer.minimize

浏览 3提问于2017-08-02得票数 3

回答已采纳

1回答

什么时候应该使用学习速率调度而不是自适应学习速率优化算法？

deep-learning、learning-rate

为了适当地收敛到最优，人们发明了各种使用自适应学习速率的算法，如AdaGrad、Adam和RMSProp。另一方面，有一个学习速率调度器，如功率调度和指数调度。我认为使用自适应学习速率优化算法(如Adam )比使用学习速率调度器更简单、更容易实现。那么，你如何才能正确地使用它，这取决于什么样的问题？

浏览 0提问于2017-08-15得票数 8

1回答

Android -播放来自Azure媒体服务的自适应比特率视频

android、azure、video、stream、media

我已经上传了一些视频文件到我的Azure媒体服务，使用多比特率MP4编码。我将媒体服务设置为一个流媒体单元和一个高级订阅，因此它支持自适应比特率流媒体。在我的安卓应用上，我使用了默认的，但它似乎并没有真正使用自适应码率流。如何确保它使用的是自适应比特率？

浏览 41提问于2017-01-18得票数 0

1回答

WebRTC支持视频的自适应比特率流吗？

webrtc、webm、vp8、adaptive-bitrate、vp9

对于WebRTC本机是否支持视频数据包的自适应比特率流还不清楚？VP8 / VP9是否支持自适应比特率编码？bitrate_controller WebRTC是否实现了ABR？有人能给我多加点光吗？我没有发现WebRTC本机支持自适应视频流的确凿证据。

浏览 0提问于2016-05-10得票数 6

1回答

在TF Estimator中冻结和解冻网络图层

python、tensorflow、tensorflow-estimator

我正在使用TF Estimator在数据集上训练模型。在最初的几次训练迭代中，我希望冻结网络中的某些层。对于剩下的迭代，我想解冻这些层。tf.GraphKeys.TRAINABLE_VARIABLES, "LayerName") freeze_train_op = optimizer.minimizetf.train.get_global_step(), var_list=layerTrainingVars) #T

浏览 22提问于2018-12-27得票数 0

2回答

Tensorflow for XOR在500个时期后无法正确预测

python、tensorflow、machine-learning、keras、neural-network

我正在尝试使用TensorFlow实现一个神经网络来解决异或问题。我选择sigmoid作为激活函数，shape (2, 2, 1)和optimizer=SGD()。我选择batch_size=1是因为问题的全局性是4，所以真的很小。问题是，预测结果甚至与正确答案相去甚远。我做错了什么？我在Google Colab上这样做，Tensorflow的版本是2.3.0。 import tensorflow as tf [1, 1],

浏览 46提问于2020-11-04得票数 3

回答已采纳

点击加载更多