我想知道如何在TensorFlow中的LSTM中实现l1或l2正则化？TF不提供LSTM的内部权重，所以我不确定如何计算范数并将其添加到损失中。目前，我的损失函数仅为RMS。
的答案似乎还不够。
浏览 2提问于2016-06-17得票数 1
利用L1正则化方法对Keras中的神经网络参数进行keras.regularizers.l1(0.01)正则化，得到稀疏模型。我发现，虽然我的许多系数接近于零，但它们中的一些实际上是零。通过查看，它建议Keras简单地将参数的L1范数添加到损失函数中。
这将是不正确的，因为参数几乎肯定永远不会像L1正则化时所期望的那样(在浮点错误范围内)变为零。当参数为零时，<e
浏览 8提问于2017-03-31得票数 13
我试图重现一篇深度学习论文的实验结果， 我注意到损失函数，类别交叉熵具有L1正则化，可以在下面看到， ? 那么，如何计算模型复杂度并在Keras/Tensorflow中添加正确的自定义损失函数呢？
浏览 38提问于2019-10-15得票数 1
回答已采纳
1回答
我想用输出元素附加一个条件来训练我的神经网络(在Keras中)。
如果没有条件，任务就很简单。注:该条件不一定是y_pred的向量范数。如何在Keras (或者可能是Tensorflow)模型中实现附加条件/限制？
浏览 0提问于2018-09-27得票数 0
2回答
在Keras中，对于密集层，我们可以使用参数activity_regularizer。在Tensorflow中，没有类似的参数。喀拉斯：encoding_dim = 32# add a Dense layerwith a L1 activity regularizer
encoded = Dense(encoding_dim, activation='
浏览 0提问于2018-04-30得票数 4
回答已采纳
1回答
我要找的是一个DNN，它能够计算经典的LASSO成本函数优化，并能给我输出用LASSO获得的稀疏权向量。
浏览 3提问于2020-09-13得票数 0
回答已采纳
1回答
在理论上，我看到正则化已经与损失函数相结合。但是在Keras的时间实现中，我看到正则化已经被用于神经网络层。from keras import regularizersmodel.add(Dense(28, input_dim=64, kernel_regularizer=regularizers.l1(0.05)
在这里，我在不同的层中使用了
浏览 4提问于2022-06-02得票数 0
2回答
我在使用Tensorflow和keras时遇到了问题。我们可以这样解释这个问题：
我们有一个模型(卷积神经网络)，它的输出形式是[None, 7, 7, 6]。我们有一个函数“定制丢失”。该函数具有y_true和y_pred参数。它们是[7,7,6]格式的。当我编译它时，我得到了错误消息：TypeError: must be real number, not Tensor。我想当我调用y_pred[k][l][m]和y_true[k][l][m]时可能有错误，但我不知道如何将这个None包含在[None, 7, 7, 6]
浏览 3提问于2018-08-27得票数 1
回答已采纳
1回答
我想计算一个损失函数，它在不同的输入上使用网络的输出两次。first_input)loss = mean_absolute_error(first_output, second_output) 如何在tensorflow或keras中实现这一点？我想在keras或tensorflow中重新实现this paper。在GAN<e
浏览 11提问于2019-01-28得票数 2
首先我尝试了TFLearn，然后是原始的TensorFlow，现在我正在尝试Keras。def l2_angle_distance(pred, tgt):
with tf.name_scope("L2AngleDistance在计算L2余弦损失之前，我用预测(pred)中的匹配值替换每个NaN，因此每个NaN的损失
浏览 1提问于2018-01-01得票数 8
回答已采纳
1回答
我想要一个具有这种正则化的损失函数:对于每个预测，如果预测点的范数低于0.9或大于1，我希望应用正则化。所以我写了这个： def custom_loss(y_true, y_pred):
n =我尝试了在keras环境之外的损失，它似乎是有效的。损失函数之外工作，而不能在keras损失<e
浏览 12提问于2019-06-21得票数 1
回答已采纳
因此，每个层的输出都在l1和l2中，其中nonlin是sigmoid激活函数(或其他类似于ReLU)。Syn0和Syn1是相应的权重，它们最初是随机化的，然后再经过反向传播，使用交叉熵或l2误差等损失函数进行修正。所有YoYoMats都是正方形和对称的，随数据集X和响应或标签列一起提供。
如何在Keras或TensorFlow中实现这一点？最好是在RKeras<e
浏览 0提问于2018-07-24得票数 0
我一直在寻求学习TensorFlow，我注意到不同的函数用于相同的目标。例如，为了求一个变量的平方，我见过tf.square()、tf.math.square()和tf.keras.backend.square()。这对于大多数数学运算来说都是一样的。
浏览 148提问于2021-02-13得票数 2
我试图将两个丢失函数传递给一个模型，如
return los
浏览 11提问于2019-10-21得票数 73
回答已采纳
如果我加上，例如kernel_regularizer=tf.keras.regularizers.L1(0.01)到一个层，我需要在编译时向我的损失描述中添加一些东西，还是自动添加到我的正常损失中？
浏览 39提问于2021-11-22得票数 1
回答已采纳
1回答
为此，我们在损失函数中添加了一个稀疏正则化项。但我无法理解如何将这个正则化项添加到损失函数中，以帮助我们阻止某些隐藏的单位触发？。
浏览 2提问于2020-05-12得票数 0
2回答
我在tensorflow中设置了一个神经网络(在python中)，它在fer2013数据集上运行(可以在kaggle上找到)。
浏览 1提问于2020-08-13得票数 0
2回答
Keras损失值显著跳跃
、、、、
我正在用Tensorflow在Keras开发一个简单的神经网络。损失值从上一批小批次的L-1显著上升到第一批小型的历元L。
我知道损失应该会随着迭代次数的增加而减少，但是在每个时期之后损失的大幅增加确实看起来很奇怪。为了避免移动平均，我实现了我自己的损失函数，它应该输出小批的损失值，而不是批量上的移动平均值。因为每一小批都是不同的，因此相应的损失也必须是不同的。由于这个原因，我期望通过我的损失函数</em
浏览 7提问于2022-05-04得票数 0
回答已采纳
作为损失函数，我取输出和地面真理之间的点态差的范数。我陷入困境的原因是，错误发生在张量流代码中，并且似乎是基于梯度的类型。它只是有一个复杂的完全连接的层，包含所有的代码，直到最小化函数，下面是我得到的相
浏览 4提问于2017-05-12得票数 3
回答已采纳
1回答
我是TensorFlow.js (JavaScript版)的新手。我已经构建了一个神经网络，并希望在成本函数(损失函数)中添加一个正则化项。这些层可以有某种与之相关的正则化函数，但是代价函数没有在这些层中定义，所以我不认为这是我正在寻找的。 我看了一下GitHub上的源代码。我发现了一些提到正规化的开放门票。我还找到了一个正则化函数，它将L2或L1范数应用于向量。我可以尝试使用正则
浏览 10提问于2019-03-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
