理解Keras正则化
Keras正则化是指在神经网络模型训练过程中，通过引入一些额外的约束条件来减少模型的复杂性，防止过拟合的技术。它在损失函数中加入正则化项，通过惩罚模型的复杂度来控制参数的大小，从而避免过度拟合。
Keras提供了多种正则化技术，包括L1正则化、L2正则化和弹性网络正则化等。这些正则化方法可以通过在层或模型中添加相应的参数来实现。下面是对不同正则化方法的介绍：
- L1正则化（L1 Regularization）：也称为Lasso正则化，通过在损失函数中添加参数的绝对值之和来惩罚模型的复杂度。它倾向于产生稀疏的权重矩阵，即某些权重为零，从而起到特征选择的作用。在Keras中，可以通过在层的构造函数中设置
kernel_regularizer参数为keras.regularizers.l1()来使用L1正则化。 - L2正则化（L2 Regularization）：也称为Ridge正则化，通过在损失函数中添加参数的平方和来惩罚模型的复杂度。与L1正则化相比，L2正则化更倾向于使权重接近零，但不会将权重完全变为零。在Keras中，可以通过在层的构造函数中设置
kernel_regularizer参数为keras.regularizers.l2()来使用L2正则化。 - 弹性网络正则化（Elastic Net Regularization）：结合了L1和L2正则化的特点，同时对模型的复杂度进行惩罚。它可以通过调节两种正则化的权重来平衡L1和L2正则化的效果。在Keras中，可以通过在层的构造函数中设置
kernel_regularizer参数为keras.regularizers.l1_l2()来使用弹性网络正则化。
这些正则化方法在神经网络训练中的应用场景包括图像识别、自然语言处理、语音识别等领域。通过引入正则化项，可以提高模型的泛化能力，减少过拟合的风险。
对于腾讯云相关产品，可以考虑使用腾讯云的AI开放平台，其中包含了多个与人工智能相关的产品和服务，例如腾讯云自研的深度学习框架MindSpore，可以用于构建和训练神经网络模型。此外，腾讯云还提供了丰富的云计算资源和服务，如云服务器、云数据库、云存储等，可以满足各种不同需求的应用场景。
更多关于腾讯云产品和服务的信息，可以参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
考虑以下使用tf.keras API构建的模型，在该模型中，我在乙状结肠层之前的倒数第二个层使用kernel_regularizer=tf.keras.regularizers.l2(l2)进行二进制分类。
model = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(input_shape=(224, 224, 3), filters=32, kernel_size=(3, 3), strides=(1, 1), padding='same', activation='relu'),
t
浏览 0提问于2019-05-11得票数 0
回答已采纳
1回答
一类概率的稳定神经网络预测
、、、、
我一直在尝试用library(keras)拟合一个用于二进制设置的神经网络，我对类概率(而不是0/1，事件的概率)感兴趣。
我的消极情绪是积极类的5.018倍。我添加了我一直在使用的代码。我无法稳定预测。我能理解那种噪音和一切。，但我需要设置一些约束，以便每次得到接近的估计值。，我已经离开ides了。还有什么可以用来稳定预测的吗？
我不能分享这些数据，因此这里是火车数据级预测的总结，我绘制了验证/训练图。
first run Second run
Min. :0.001843 Min. :0.0004508
1st Qu.:0.01227
浏览 3提问于2020-09-01得票数 0
我正在使用Keras和tensorflow后端来训练一个有多个输出但只有一个损失的模型(输出层“部件”上的MSE)。它的定义如下： model = Model(inputs=[image, year], outputs=outputs) # outputs is a list of 8 output layers
model_parallel = keras.utils.multi_gpu_model(model, gpus=2, cpu_merge=True, cpu_relocation=False)
losses = {'parts': keras.losses.mea
浏览 21提问于2019-09-12得票数 2
回答已采纳
考虑以下代码：
import numpy as np
A = np.array([[.8, .6], [.1, 0]])
B1 = tf.keras.utils.normalize(A, axis=0, order=1)
B2 = tf.keras.utils.normalize(A, axis=0, order=2)
print('A:')
print(A)
print('B1:')
print(B1)
print('B2:')
print(B2)
回传
A:
[[0.8 0.6]
[0.1 0. ]]
B1:
[[0.88888889
浏览 15提问于2019-09-30得票数 2
回答已采纳
2回答
我正在用tensorflow训练以下NN：
def build_model():
inputs_layers = []
concat_layers= []
for k in range(k_i, k_f+1):
kmers = train_datasets[k].shape[1]
unique_kmers = train_datasets[k].shape[2]
input = Input(shape=(kmers, unique_kmers))
inputs_layers.append(input)
x = Dense(4, activ
浏览 6提问于2022-02-21得票数 0
1回答
我正在研究一个问题，根据奶牛的图像来预测奶牛有多胖。我使用CNN来估计介于0-5之间的值(我拥有的数据集，只包含2.25到4之间的值)，我使用的是4层CNN层和3层隐藏层。
我实际上有两个问题: 1/我得到0.05的训练误差，但3-5周期后，验证误差保持在0.33左右。2/我的神经网络预测的值在2.9到3.3之间，与数据集范围相比太窄了。这正常吗？
我该如何改进我的模型？
model = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(16, (3,3), activation='relu', input_shap
浏览 1提问于2019-07-16得票数 4
回答已采纳
1回答
VNET骰子损失大于1
、、、
我正在使用Keras 2.2.4和Tensorflow 1.12.0训练Vnet解决分段问题(我无法更改tensorflow版本)。掩码，即y_true，是(1,200,150,100,2)阵列。我想最大限度地减少骰子损失，定义为： “”“ def dice_loss_foreground(y_true, y_pred):
elements_per_class=tf.math.reduce_sum(y_true[:,:,:,:,1])
predicted_per_class=tf.math.reduce_sum(y_pred[:,:,:,:,1])
intersec
浏览 31提问于2021-01-12得票数 0
回答已采纳
我正在尝试导入一些正则化程序，代码如下： import tensorflow as tf
from tensorflow import keras
import numpy as np
# importing regularizers
from tf.keras.regularizers import l2, activity_l2 问题是我得到了以下错误： ---------------------------------------------------------------------------
ModuleNotFoundError
浏览 49提问于2021-09-29得票数 0
我将用Keras编写的逻辑回归器的结果与默认的Sklearn进行比较。我的输入是一维的。我的输出有两个类，我感兴趣的是输出属于类1的概率。
我希望结果几乎是一样的，但它们甚至不是很接近。
这是我如何生成随机数据的方法。注意，X_train，X_test仍然是向量，我只是使用大写字母，因为我已经习惯了。在这种情况下，也没有必要进行缩放。
X = np.linspace(0, 1, 10000)
y = np.random.sample(X.shape)
y = np.where(y<X, 1, 0)
这里是y在X上的累加，在这里做回归并不是火箭科学。
我做了一个标准的火车测试-分
浏览 7提问于2017-07-05得票数 13
回答已采纳
loss='categorical_crossentropy'
activation='softmax'
Metrics used:
keras_metrics.precision(),
keras_metrics.recall(),
keras_metrics.f1_score(),
'accuracy'
我做错了什么，我用LSTM来分类一个多标签的问题，我已经转换成一个热编码。除了精度之外，其他值都很高，但精度却非常低得惊人。
浏览 1提问于2020-08-27得票数 1
回答已采纳
1回答
我试图理解为什么Keras中的正则化语法看起来是这样的。
粗略地说，正则化是通过向损失函数添加与模型权重的某个函数成比例的惩罚项来减少过拟合的方法。因此，我希望正则化将被定义为模型损失函数规范的一部分。
然而，在Keras中，正则化是在每个层的基础上定义的。例如，考虑以下正则化DNN模型：
input = Input(name='the_input', shape=(None, input_shape))
x = Dense(units = 250, activation='tanh', name='dense_1', kernel_regula
浏览 71提问于2018-06-02得票数 18
回答已采纳
2回答
我有一个数据集，其中包含两个类别的20000张黑白图像(这些图像看起来有点像天气预报或股市图表，所以我不能使用预先训练好的网络)。数据集被分为18000幅图像用于训练，2,000幅图像用于测试。我正在使用Keras卷积神经网络来训练它。我用训练集获得了96%的准确率，但用测试集获得的结果并不好(它在50个时期后卡在82-83% )。我认为这可能是因为过度拟合。你能给我一些解决这个问题的建议吗？我将最终的输出和代码留给您来查看。
281/281 ============================== - 132s -损耗: 0.1024 - acc: 0.9612 - val_loss:
浏览 0提问于2017-09-08得票数 3
2回答
我知道，当使用内核正则化，特别是l2丢失时，我应该将它添加回丢失函数中，这就是在其他帖子中所做的。然而，在Keras中，他们没有遵循这个过程。为何会这样呢？
例如，考虑和笔记本。他们在一些层中使用l2丢失作为核心正则化，但没有添加到原始丢失中。这是因为特殊的损失，还是仅仅是Keras的行为，还是我完全误解了一切？
浏览 0提问于2018-12-30得票数 2
回答已采纳
2回答
在Keras中，对于密集层，我们可以使用参数activity_regularizer。在Tensorflow中，没有类似的参数。
喀拉斯：
from keras import regularizers
encoding_dim = 32
input_img = Input(shape=(784,))
# add a Dense layer with a L1 activity regularizer
encoded = Dense(encoding_dim, activation='relu', activity_regularizer=regularizers.l1(10e-
浏览 0提问于2018-04-30得票数 4
回答已采纳
2回答
损失减少，但验证损失只是波动。
、、、、
我一直试图使用像这样的CNN架构来实现对象检测：
model = keras.Sequential([
keras.layers.Input(shape=(320, 320, 1)),
keras.layers.Conv2D(filters=16, kernel_size=(3, 3), activation="leaky_relu", padding="same"),
keras.layers.MaxPool2D((2, 2), strides=2),
keras.layers.Conv2D(filters=32, kernel
浏览 0提问于2022-06-27得票数 1
回答已采纳
1回答
我有一个神经网络，在Keras和scikit中都实现了一个隐藏层--学习来解决回归问题。在scikit- learning中，我使用了具有大多数默认参数的MLPregressor类，而在Keras中，我有一个隐藏的密集层，参数设置为与scikit相同的默认值--学习(它使用相同的学习速率和epsilon以及batch_size为200)。当我训练网络，科学学习模型有一个损失值约一半的角和它的准确性(测量的平均绝对误差)也更好。如果损失值不完全相同，那么损失值不应该是相似的，而且精确性也应该相似吗？有没有人经历过类似的事情，并能够使Keras模型更精确？
Scikit-学习模式：
clf = M
浏览 6提问于2021-06-30得票数 2
回答已采纳
我在CPU上运行相同的代码(使用相同的数据)，首先使用keras 1.2.0，然后使用keras 2.0.3在这两个代码中，keras使用TensorFlow后端，我还使用sklearn进行模型选择，外加pandas读取数据。
当我在使用keras 2.0.3和使用keras 1.2.0时得到42和21的MSE(均方误差)时，我感到很惊讶。有没有人能给我解释一下为什么会这样？为什么我在使用keras 2时会遇到更多的错误？谢谢
PS。这个结果是在将代码编辑为keras2标准之后得到的。例如，在Dense中，我将keras1代码更改为keras2标准。
浏览 3提问于2017-04-26得票数 4
2回答
在Keras和Pytorch中，SGD优化器具有权重衰减参数，我发现tf.train.GradientDescentOptimizer没有重量衰减参数。什么是tensorflow等效的SGD与重量衰减？
Pytorch
Keras优化器-
浏览 4提问于2019-03-07得票数 1
我想将以下滑雪板模型移植到keras：
model = MLPClassifier(activation='tanh', hidden_layer_sizes=(60,50), alpha=0.001, random_state=42)
到目前为止，我得到的是：
from keras.models import Sequential
from keras.layers import Dense
from keras import regularizers
from tensorflow import set_random_seed
set_random_seed(42)
m
浏览 0提问于2019-07-28得票数 2
回答已采纳
我想在我的tf神经网络中增加正则化：
我尝试了第一个解决方案(Lukazs的解决方案)：
但是，编译器在我面前做出了让步：
模块'tensorflow‘没有属性'get_collection'？
我需要怎么把这个添加到模块中？还有其他增加正则化的方法吗？
这是我的代码的相关部分：
def get_trained_model(X,y,hidden_size_list, steps, lambdaa = 0):
model = keras.models.Sequential()
model.add(keras.layers.Flatten(input_sh
浏览 20提问于2022-06-10得票数 0
回答已采纳
利用L1正则化方法对Keras中的神经网络参数进行keras.regularizers.l1(0.01)正则化，得到稀疏模型。我发现，虽然我的许多系数接近于零，但它们中的一些实际上是零。
通过查看，它建议Keras简单地将参数的L1范数添加到损失函数中。
这将是不正确的，因为参数几乎肯定永远不会像L1正则化时所期望的那样(在浮点错误范围内)变为零。当参数为零时，L1范数是不可微的，因此需要使用次梯度方法，如果参数在优化例程中足够接近于零，则设置为零。请参阅软阈值操作符max(0, ..) 。
Tensorflow/Keras是这样做的，还是与随机梯度下降无关？
编辑：也是一篇很棒的博客文章，解
浏览 8提问于2017-03-31得票数 13
1回答
我经常遇到将GaussianNoise添加到输入中的Keras代码，但我不清楚它对学习有什么好处。
input_img = layers.Input(t_x.shape[1:], name = 'RGB_Input')
pp_in_layer = layers.GaussianNoise(GAUSSIAN_NOISE)(input_img)
浏览 0提问于2019-02-14得票数 3
回答已采纳
我使用以下代码：
import numpy as np
import math
import keras
from keras.models import Model, Sequential
from keras.layers import Input, Dense, Activation
from keras import regularizers
from keras import backend as K
a=1
def my_regularizer(inputs):
means=K.mean((inputs),axis=1)
return a*K.sum(means
浏览 0提问于2019-09-26得票数 1
回答已采纳
我正在学习如何在Keras上训练RNN模型，我希望训练一个模型来预测最后N步的移动平均值将非常容易。
我有一个包含数千步的时间序列，我能够创建一个模型，并用批量数据对其进行训练。
但是，如果我用以下模型训练它，测试集预测与真实值有很大不同。(批次= 30，移动平均窗口= 10)
inputs = tf.keras.Input(shape=(batch_length, num_features))
x = tf.keras.layers.LSTM(10, return_sequences=False)(inputs)
outputs = tf.keras.layers.Dense(num_lab
浏览 0提问于2021-01-24得票数 0
1回答
我已经构建了一个定制的Keras模型，它由不同的层组成。由于我希望向这些层添加L2正则化，所以我传递了一个keras.regularizers.l2实例作为这些层的kernel_regularizer参数的参数(作为示例，请参见的构造函数)。现在，如果我使用Keras实现二进制交叉熵损失()来训练这个模型，我可以肯定在计算损失时会考虑到我指定的L2正则化。
但是，在我的示例中，除了y_true和y_pred之外，还有一个自定义丢失函数需要其他几个参数，这意味着我无法将这个函数作为model.compile(...)的loss参数的参数传递(实际上，我甚至不调用model.compile(...
浏览 1提问于2020-09-18得票数 3
回答已采纳
1回答
我试着训练CNN，用很重的超参数调优，并设法在我的离散数据集上获得80%的精度。然而，我开始过度适应，我完全没有得到比这更好。这是我的网络：
depth = 5
start_filters = 32
model = keras.models.Sequential()
for i in range(depth):
if i == 0:
input_shape = (img_h, img_w, 3)
else:
input_shape = (None, None)
model.add(tf.keras.layers.Conv2D(filters=start_f/2,
浏览 1提问于2020-11-13得票数 0
1回答
我试图复制这篇文章：
基本上，一个完全卷积网络(FCN)对图像的一个补丁做体素级预测，然后，这个补丁及其相应的标签通过一个自动编码器，然后比较来评估预测的“全局形状”。
所以损失函数(eq )。(1)第4页是FCN的交叉熵与自动编码器的欧几里德距离损失之间的线性组合。
问题：
我有一个工作的FCN和一个工作的自动编码器，我的问题是在Keras/tensorflow中实现这个丢失函数。那我该怎么做呢？
这是我迄今尝试过的(没有第三项等式)，但却给出了错误的结果：
def euclidean_distance_loss(y_true, y_pred):
from keras import
浏览 0提问于2018-03-20得票数 0
我逐渐从只使用Tensorflow切换到Tensorflow+Keras。目前，我仍在使用tensorflow优化器进行训练，但使用的是Keras的Dense层。例如，
model.add(Dense(hidden_width, kernel_regularizer=regularizers.l2(0.01)))
我如何从密集的Keras层中检索所有的l2惩罚，以便将它们添加到我的总体损失函数中？
在我使用Keras之前，我经常
reg_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
loss = recon_los
浏览 3提问于2017-08-10得票数 2
我同时使用了Tensorflow和Keras，我发现它们显示了不同的结果。已经有类似的问题了，但我和他们有点不同。
在我的例子中，损失和准确性只有一点不同，我使用的是完全相同的'tf.keras.layers‘模块。我认为唯一的区别是AdamOptimizer和如何训练方法。
tf.train.AdamOptimizer对tf.keras.optimizers.Adam
tf.keras.models.fit诉sess.run(train_optimizer)
我检查了adam优化器的默认值是否相同。我认为这种差异并不是因为它的随机性，因为我在
浏览 1提问于2018-10-18得票数 1
2回答
我注意到weight_regularizer在Keras中不再可用，取而代之的是活动和内核正则化。我想知道：
内核和活动正则化的主要区别是什么？
我可以用activity_regularizer代替weight_regularizer吗？
浏览 7提问于2017-06-12得票数 100
回答已采纳
1回答
辍学层只在模型的训练中使用，而不是在测试期间使用。
如果我的Keras顺序模型中有一个退出层，那么在执行model.predict()之前，我需要做些什么来删除或关闭它吗？
浏览 0提问于2018-12-23得票数 4
1回答
训练损失减少，验证损失没有减少
、、、、
我想知道为什么这个回归问题的验证损失没有减少，而我已经实现了几种方法，例如简化模型、添加早期停止、不同的学习速率，以及正则化，但这些方法都没有正常工作。如有任何建议，将不胜感激。这是我的代码和输出：
optimizer = keras.optimizers.Adam(lr=1e-3)
model = Sequential()
model.add(LSTM(units=50, activation='relu',
activity_regularizer=tf.keras.regularizers.l2(1e-2), return_sequence
浏览 0提问于2022-05-21得票数 0
1回答
我有一个6*32的技术数据数组，它看起来像“射线”，连接部分或全部六行的局部最大值，并以某种角度颠倒：
1: 100 (102) 97 98 127 120 121
2: 88 87 (91) 90 88 88 88
3: 101 100 101 100 101 100 100
4: 99 97 97 98 (99) 98 97
5: ...
6: ...
我的基本想法是使用CNN网络，因为目前操作员可以在视觉上检测到这些模式，与文本或照片对象识别相比，问题似乎并不太难。我使用Keras，下面的架构给出了最好的结果。不幸的是，只有在训
浏览 1提问于2019-01-20得票数 1
1回答
我试图在Tensorflow 2上使用注意层，但是我得到了一个错误：
import tensorflow as tf
import numpy as np
from tensorflow.keras.callbacks import EarlyStopping,History
import os
from src.helpers.initializer import Initializer
from tensorflow.keras import initializers
from tensorflow.keras import regularizers
from tensorflo
浏览 9提问于2020-09-23得票数 1
回答已采纳
1回答
在网络上，我在Keras中读到了关于weight regularizer的内容，但在规范中找不到它。我只能看到内核正则化器。我认为这是一样的，因为内核是某种重量。我说的对吗？
浏览 4提问于2017-06-14得票数 2
回答已采纳
我正在实现一些东西，我发现批处理规范化层抛出了奇怪的值错误。
用于生成错误的代码如下：
x = Input(shape=(25,14,19))
bn = BatchNormalization(
momentum=0.1,
epsilon=0.00001,
gamma_regularizer=keras.initializers.ones(),
beta_constraint=keras.initializers.zeros())
y = bn(x)
堆栈跟踪是：
------------------------------
浏览 0提问于2018-07-01得票数 0
回答已采纳
tf.keras.layers.Embedding具有参数embeddings_regularizer。在pyTorch或nn.Embedding中，这等同于什么？
浏览 0提问于2020-12-05得票数 4
回答已采纳
2回答
我有几个实现相同的神经网络，但每一个具有不同的启动参数。
📷
这是我比较基础实验的训练损失和另一个实验的训练损失的计划之一。
我还有其他一些例子：
📷
📷
有人能告诉我如何理解keras ()的输出吗？请注意，我没有任何验证集。
谢谢
浏览 0提问于2019-06-27得票数 1
1回答
我在Keras中使用一个简单的前馈网络来解决一个回归问题。网络的设置非常简单:3个隐藏层具有tanh激活，输出层具有线性激活的单个节点。
但是，我注意到输出中有一些非常极端的值，如下所示：
我有点担心极值会支配损失函数(MSE)，所以我想修剪它。有没有办法在Keras中做到这一点？
浏览 5提问于2018-08-08得票数 2
3回答
有没有办法在Keras中设置全局权重衰减？
我知道使用正则化器()的层明智的方法，但我找不到任何关于设置全局权重衰减的方法的信息。
浏览 0提问于2016-12-21得票数 15
回答已采纳
1回答
我正在实现一个耦合到多实例学习层的CNN。简而言之，我得到了这个，用C表示类别的数量： [1 batch of images, 1 label] > CNN > Custom final layer -> [1 vector of size C] 我的最后一层只是暂时总结了上一层。需要明确的是，一批输入只有一次输出。因此，该批次对应于在与1个标签相关联的1个袋子中获取的多个实例。 当我训练我的模型并用相同的集合验证它时： history = model.fit_generator(
generator=training_generator,
step
浏览 28提问于2019-09-10得票数 0
回答已采纳
2回答
辍学层会提高精度吗？
、、、
我知道在CNN模型中增加一个退出层可以提高准确性，因为它减少了过度拟合的影响。然而，我建立了一个CNN模型，有16,32和64个过滤器，大小为3，最大池为2，并注意到在所有情况下，没有辍学层的模型的性能都要好于有辍学层的模型。
from keras.models import Sequential
from keras.layers import Conv2D,Activation,MaxPooling2D,Dense,Flatten,Dropout
import numpy as np
from keras.preprocessing.image import ImageDataGenera
浏览 3提问于2020-03-08得票数 0
回答已采纳
2回答
我在Keras中有一个模型，我正在优化均方误差。但是，如果在度量中使用与Keras中相同的losses.py代码，则会得到不同的结果。为什么会这样呢？
作为衡量标准：
def MSE_metric(y_true, y_pred):
return K.mean(K.square(y_pred, y_true))
对于模型：
model.compile(optimizer=SGD(lr=0.01, momntum=0.9), loss='MSE', metrics=[MSE_metric])
这导致损失6.07，但MSE_metric为0.47。
浏览 1提问于2018-02-10得票数 9
回答已采纳
在我点击了一个train_on_batch更新，使一些权重nan后，我在将我的keras模型重置为它在前一个时代的权重时遇到了麻烦。 我尝试在每个训练步骤后保存模型权重，然后在nan训练更新后将“良好”(非nan)权重加载回keras模型。这似乎工作得很好-在将旧的权重文件加载到模型中之后，当我打印model.get_weights()的结果时，结果权重不包含nan(并且预测使用它们也会产生非nan输出)。 然而，现在当我再次尝试train_on_batch时，这一次使用了一个新的批处理，我立即再次得到了一个nan更新。我尝试了多个随机选择的批处理，每次都会进行nan更新。 当nan tra
浏览 15提问于2019-02-25得票数 1
回答已采纳
1回答
我创建了一个keras模型，很大程度上受的影响，它看起来像
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
import time
import numpy as np
import sys
from keras import losses
model = keras.Sequential()
model.add(layers.Dense(nodes,activation = tf.keras.activations.relu, input_shape=[le
浏览 2提问于2019-10-25得票数 2
1回答
我有大约14,000张图像用于人脸检测二进制分类任务。大约12,000张图像用于训练，2,200张用于验证。我的CNN架构如下-
regularizer = tf.keras.regularizers.l2(l=0.001)
init = tf.initializers.he_uniform()
model = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(filters = 32, kernel_size = (3, 3), strides = (1, 1), padding='same', activati
浏览 1提问于2019-10-19得票数 1
我正在尝试实现用于分布式学习的自定义正则化函数，以实现等式中的惩罚函数
我实现了上面的函数作为分层正则化器，但是它抛出了错误。期待来自社区的帮助
@tf.keras.utils.register_keras_serializable(package='Custom', name='esgd')
def esgd(w, wt, mu):
delta = tf.math.square(tf.norm(w-wt))
rl = (mu/2)*delta
return rl
def model(w, wt, mu):
model =
浏览 0提问于2020-08-01得票数 2
1回答
正如@david在中指出的那样，我不应该在最后一次使用级联层来组合两个输出，我更新了我的模型如下。完整代码在底部。
__________________________________________________________________________________________________
Layer (type) Output Shape Param # Connected to
============================================
浏览 4提问于2022-08-19得票数 0
回答已采纳
我正在使用tensorflow==1.2.1和Keras==2.0.6构建一个模型：
input_num = X_norm_keras[:,2:].shape[1]
model_keras = Sequential()
model_keras.add(Dense(10, input_dim=input_num, activation='relu'))
model_keras.add(Dense(1, activation='linear'))
kernel_regularizer=regularizers.l2(0.2), optimizer='adam
浏览 6提问于2017-09-27得票数 4
回答已采纳
我有以下Keras/TensorFlow代码：
my_initializer = keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=1)
my_model = keras.models.Sequential([
keras.layers.Dense(200, kernel_initializer=my_initializer, bias_initializer=my_initializer, activation="relu",input_shape=[len(features)]),
ke
浏览 0提问于2021-07-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
