Tensorflow中的LSTM反向传播
TensorFlow是一个开源的机器学习框架，LSTM（Long Short-Term Memory）是其中的一种循环神经网络（RNN）模型。LSTM通过引入门控机制，能够有效地解决传统RNN在长序列训练中的梯度消失和梯度爆炸问题，使得模型能够更好地捕捉长期依赖关系。
LSTM反向传播是指在LSTM模型中进行梯度计算和参数更新的过程。反向传播算法通过计算损失函数对模型参数的梯度，然后利用梯度下降法或其他优化算法来更新参数，使得模型能够逐步优化并适应训练数据。
在TensorFlow中，可以使用tf.keras.layers.LSTM层来构建LSTM模型，并通过调用model.fit()方法进行训练。在反向传播过程中，TensorFlow会自动计算梯度并更新模型参数。
LSTM在自然语言处理、语音识别、时间序列预测等领域有广泛的应用。例如，在自然语言处理中，LSTM可以用于文本分类、情感分析、机器翻译等任务；在语音识别中，LSTM可以用于语音识别、语音合成等任务；在时间序列预测中，LSTM可以用于股票预测、天气预测等任务。
腾讯云提供了一系列与机器学习和深度学习相关的产品和服务，可以帮助用户快速构建和部署LSTM模型。例如，腾讯云的AI Lab提供了强大的AI开发平台，包括了TensorFlow等常用的深度学习框架，用户可以在该平台上进行LSTM模型的开发和训练。此外，腾讯云还提供了云服务器、云数据库、云存储等基础设施服务，以及人工智能推理服务、人脸识别服务等高级功能，可以满足不同场景下的需求。
更多关于腾讯云机器学习和深度学习相关产品的介绍和详细信息，您可以访问腾讯云官方网站：https://cloud.tencent.com/product/ai
相关·内容
4回答
我正在学习关于LSTM：的tensorflow教程。
这一节说代码使用“截断反向传播”，那么这到底意味着什么呢？
浏览 9提问于2016-08-01得票数 4
回答已采纳
在哪里可以找到Tensorflow (python )中的反向传播(通过时间)代码？还是使用了其他算法？
例如，当我创建一个LSTM网络时。
浏览 1提问于2016-04-20得票数 4
回答已采纳
在扇区截断反向传播的PTB google官方教程中，有一个使用BasicLSTMCell的实现，它通过创建一个for循环来展开num_steps步骤的图形。
# Placeholder for the inputs in a given iteration.
words = tf.placeholder(tf.int32, [batch_size, num_steps])
lstm = rnn_cell.BasicLSTMCell(lstm_size)
# Initial state of the LSTM memory.
initial_state = state = tf.zeros([
浏览 14提问于2016-07-29得票数 1
回答已采纳
1回答
我用TensorFlow建立了一些神经网络，比如基本的MLP和卷积神经网络。现在我想转到递归神经网络。然而，我在自然语言处理方面没有经验。因此，对于我来说，RNN的TensorFlow NLP教程并不容易阅读(也不是很有趣)。
基本上，我想从一些简单的东西开始，而不是LSTM。
如何在TensorFlow?中建立一个简单的递归神经网络，如Elman网络。
我只能找到TensorFlow的GRU或LSTM示例，主要用于NLP。有人知道一些简单的递归神经网络教程或TensorFlow的例子吗？
下图显示了一个基本Elman网络，它通常简单地称为SRN (简单递归网络)：
浏览 2提问于2016-04-25得票数 9
回答已采纳
1回答
目前，我正试图理解TensorFlow中的LSTM的BPTT。我得到参数"num_steps“用于RNN展开和错误反向传播的范围。我有一个一般性的问题，这是如何运作的。
以供参考，重新计算公式。我指的是： ()
问题：，哪些路径被反向传播了那么多步骤？恒等误差旋转木马由公式5创建，反传播(s(t)->s(t-1))的导数对于所有时间步骤都是1。这就是为什么LSTM捕获远程依赖项的原因。我混淆了h(t-1)的g(t)，i(t)，f(t)和o(t)的依赖关系。换句话说:当前的门不仅取决于输入，还取决于最后的隐藏状态。
这种依赖不是再次导致爆发/消失梯度问题吗？
如果我沿着这些连接反向
浏览 4提问于2016-11-29得票数 1
1回答
我试图理解损失函数和反向传播之间的联系。据我所知，在LSTM算法中，反向传播被用来获取和更新矩阵，在前向传播中使用偏差来获取当前的单元和隐藏状态。损失函数取训练集的预测输出和实际输出。但哪一部分是LSTM的培训部分？它们之间有某种联系吗？LSTM模式的培训目标是什么？
浏览 0提问于2019-08-31得票数 0
在这里，官方的TF文件说，
为了使学习过程具有可控性，通常的做法是创建一个‘展开’版本的网络，其中包含固定数量(num_steps)的LSTM输入和输出。
以及该文件所涉及的问题；
words = tf.placeholder(tf.int32, [batch_size, num_steps])
lstm = tf.contrib.rnn.BasicLSTMCell(lstm_size)
initial_state = state = tf.zeros([batch_size, lstm.state_size])
for i in range(num_steps):
outp
浏览 3提问于2017-10-08得票数 2
回答已采纳
在Tensorflow教程中，我正在实验LSTM时间序列
在使用LSTM的“多步预测”一节中，教程说
由于这里的任务比以前的任务要复杂一些，所以模型现在由两个LSTM层组成。最后，由于72个预测，致密层输出72个预测。
之前的任务是单点预测。
我们如何知道一个问题需要多少层(在这里，2层)？
然后，从实现的角度，使用Python库，
multi_step_model = tf.keras.models.Sequential()
multi_step_model.add(tf.keras.layers.LSTM(32,
浏览 0提问于2019-12-25得票数 2
回答已采纳
1回答
如何在多层RNN中反向传播错误？
、、、、
假设我有一个2层LSTM单元，我使用这个网络对长度为10的输入序列沿时间轴进行回归。
据我所知，当这个网络“展开”时，它将由20个LSTM单元组成，每层10个。因此，对应于第一层的10个小区接收t= 1到10的网络输入，而对应于第二层的10个小区接收第一层的输出，t=1至10。换句话说，对应于t=1的第1层中的单元单元输出到(1)对应于t= 2的第1层的“下一个”单元，和(2)对应于t=1的第2层的单元。
因此，当错误被反向传播时，第一层中的每个单元不都会有两个导数吗？如果是，那么权重更新是如何执行的？这两种衍生产品的总和或平均值是被使用的，还是还有其他的原因？
浏览 0提问于2018-07-07得票数 4
回答已采纳
我的机器有以下规格：
处理器:至强E5-1620 v4
GPU: Titan X (Pascal)
Ubuntu 16.04
Nvidia驱动程序375.26
CUDA tookit 8.0
cuDNN 5.1
我以Tensorflow作为后端，对以下Keras示例进行了基准测试：
SCRIPT NAME GPU CPU
stated_lstm.py 5sec 5sec
babi_rnn.py 10sec 12sec
imdb_bidirectional_lstm.p
浏览 1提问于2017-01-31得票数 34
1回答
我的问题和问题在下面两个代码块中说明。
损失函数
def loss(labels, logits, sequence_lengths, label_lengths, logit_lengths):
scores = []
for i in xrange(runner.batch_size):
sequence_length = sequence_lengths[i]
for j in xrange(length):
label_length = label_lengths[i, j]
lo
浏览 0提问于2016-02-10得票数 12
1回答
我有一个simpleRNN / LSTM，我正在尝试使用tensorflow在顺序分类任务上进行训练。有一个数据序列(300个时间步长)预测t=300处的标签。对于我的任务，我希望RNN评估每个时间步的错误(不仅仅是在最后的时间点)，并向后传播它(如下图所示)。
在下面的一些响应之后，我似乎需要做一些事情:使用return_sequences标志；使用TimeDistributed层访问来自LSTM/RNN的输出；还定义了一个自定义的损失函数。
model = Sequential()
layer1 = LSTM(n_neurons, input_shape=(length, 1),
浏览 1提问于2021-04-20得票数 0
1回答
我试图用functional重写一个顺序模型，但是当我这样做的时候，使用functional创建的模型在fit()阶段的精度很低，而且在历次周期之间的精度也没有提高。
在阅读了一些关于提供类似结果的开发模型之后，我设置了种子值如下，但仍然没有运气；
import numpy as np
np.random.seed(2017)
from tensorflow import set_random_seed
set_random_seed(2017)
import random as rn
rn.seed(2017)
使用functional定义的模型代码如下；
length=257
inp
浏览 0提问于2018-08-01得票数 2
我正在做我的第一步学习TF和有一些困难的训练RNN。
我的玩具问题是这样的:一个两层的LSTM +密集层网络被输入原始音频数据，并且应该测试声音中是否存在一定的频率。
因此，网络应该从1到1映射浮动(音频数据序列)到浮动(预选的频率体积)。
我已经在Keras上完成了这个任务，并看到了类似的TFLearn解决方案，但我希望以一种相对高效的方式在裸Tensorflow上实现这一点。
我所做的：
lstm = rnn_cell.BasicLSTMCell(LSTM_SIZE,state_is_tuple=True,forget_bias=1.0)
lstm = rnn_cell.DropoutWr
浏览 1提问于2016-10-08得票数 1
回答已采纳
1回答
我试图在TensorFlow中实现一个暹罗神经网络，但我在互联网上找不到任何有效的例子(参见)。
我试图构建的体系结构将由两个LSTM组成，它们共享权重，并且只在网络的末端连接。
我的问题是:如何在TensorFlow中建立两个不同的神经网络，共享它们的权重(绑定权重)，以及如何在最后将它们连接起来？
谢谢:)
编辑：我在MNIST上实现了一个简单实用的暹罗网络示例。
浏览 4提问于2016-04-25得票数 24
回答已采纳
在LSTM中，我们通常使用sigmoid函数来模拟门机制(软)，但是在很多情况下，这种函数给出的值在0.5左右，这对门来说并不意味着什么。为什么不在LSTM中使用二进制值(0/1)，在LSTM和GRU中使用sigmoid函数的基本思想和直觉是什么？
浏览 0提问于2020-06-01得票数 0
回答已采纳
尝试使用Tensorflow FIFOQueue的派生类。我重写了队列函数。它接收图像，并在队列中对最后一个密集层的输出进行排队。现在，我去排队输出张量，并尝试计算成本函数和最小化它使用。
在计算成本并将其最小化到enqueue函数本身时，我的代码工作得很好。但是，一旦我将loss_op (即我的成本)转移到派生类之外，我就会得到一个错误：“没有为任何变量提供梯度，检查您的图形中不支持渐变的操作”。
导入
from tensorflow.python.ops.data_flow_ops import FIFOQueue
import tensorflow as tf
from tensorfl
浏览 0提问于2019-06-18得票数 0
1回答
我正在使用Tensorflow Keras在GPU上训练一个LSTM模型。在调用model.fit()时开始训练之前，需要大约30分钟才能开始训练过程。我认为在这段时间里，它用CPU的一个核心来准备数据。我说的对吗？如果是，我如何使用多核并行化这个数据准备过程？
浏览 0提问于2020-03-05得票数 0
回答已采纳
在tensorflow中，有一个名为BasicLSTMCell的tf.contrib.rnn.BasicLSTMCell实现。它有一个参数num_units，它意味着LSTM单元中的单元数。但我不知道那是什么意思。
如果我像这样定义一个lstm单元：
lstm_cell = tf.contrib.rnn.BasicLSTMCell(512).
lstm_cell是什么样子的？它是一个lstm节点还是一个具有512节点的lstm层？？谁能告诉我这一点？
浏览 1提问于2017-09-15得票数 3
回答已采纳
python中tensorflow梯度函数中的grad参数(如下面的文档中的示例)表示什么？
@tf.RegisterGradient("Sub")
def _sub_grad(unused_op, grad):
return grad, tf.neg(grad)
文档说它代表“相对于op的每个输出的渐变”。哪个梯度？op的每个输出的梯度，相对于op的每个输出？
这里的op是x，这是否意味着这个函数中的grad参数引用了
这将与函数的输出保持一致，即
，
但我想确认一下。
谢谢您的澄清！
浏览 5提问于2016-06-23得票数 1
回答已采纳
我刚刚开始使用TensorFlow，我正在尝试实现一个非常简单的RNN。RNN以x作为输入，y作为输出，并且仅由一个层组成，该层以x和以前的输出作为输入。下面是我脑海中想到的那种东西的图片：
问题是，我无法通过TensorFlow API来构造一个包含循环的图。每当我定义一个张量时，我必须指定它的输入是什么，这意味着我必须已经定义了它的输入。所以有个鸡和蛋的问题。
我甚至不知道用循环来定义一个图是否有意义(首先计算什么？我是否必须定义softmax节点的初始值？)。我使用了使用变量来表示前一个输出的想法，然后手动获取y的值，并在每次输入训练样本后将其存储在变量中。但是，这将是非常慢的
浏览 2提问于2016-02-17得票数 6
1回答
用于文本分类的词嵌入
、、、
我是NLP社区的新手，需要更多关于一些东西的信息。
我看到Keras有一个嵌入层，通常在LSTM层之前使用。但是它背后隐藏着什么算法呢？是Word2Vec，Glove还是别的什么？
我的任务是有监督的文本分类问题。
浏览 0提问于2020-10-13得票数 0
3回答
通过这个，我熟悉以下内容：
对于每个训练实例，反向传播算法首先进行预测(前向传递)，测量误差，然后反向遍历每一层以测量每个连接(反向传递)的误差贡献，最后稍微调整连接权重以减小误差。
但是，我不确定这与TensorFlow的反向模式自动关闭实现有何不同。
据我所知，反向模式自减首先在正向上通过图，然后在第二次传递中，计算输出与输入有关的所有偏导数。这与传播算法非常相似。
反向传播与反向模式自定义有何不同？
浏览 3提问于2018-04-19得票数 15
回答已采纳
1回答
用户定义损失函数的LSTM集成
、、、、
我想在python中为我的LSTM集成一个自定义丢失函数。代码显示了到目前为止我的方法。如何最好地实现图像中显示的丢失函数？如何处理<0的约束？
谢谢你的帮助！
码
# Importing the libraries
ep=25 #Epochs
bs=32 #Batch-Size
vs=0.2 #Validation-Split
r=ep+1 #Range
# Importing the training set
dataset_train = pd.read_csv(r'C:\Users\Name\Desktop\Recurrent Neural Networks\JPM
浏览 2提问于2021-12-08得票数 0
回答已采纳
3回答
我有一些数据是以非常高的速率(每秒数百次)采样的。这导致任何给定实例的平均序列长度都很大(约90,000个样本)。整个序列只有一个标签。我正在尝试使用LSTM神经网络将新序列分类为这些标签之一(多类分类)。
然而，使用具有如此大的序列长度的LSTM会导致网络相当大。
有什么方法可以有效地“分块”这些序列，以便我可以减少神经网络的序列长度，同时仍然保持在整个实例中捕获的信息？
浏览 0提问于2017-06-11得票数 10
2回答
通过这个书，我熟悉以下内容：
对于每个训练实例，反向传播算法首先进行预测(前向传递)，测量误差，然后反向遍历每一层以测量每个连接(反向传递)的误差贡献，最后稍微调整连接权重以减小误差。
但是，我不确定这与TensorFlow的反向模式自动关闭实现有何不同。据我所知，上面的算法首先在正向上遍历图，然后在第二次遍历时，计算输出与输入有关的所有偏导数。这与传播算法非常相似。
反向传播与反向模式自定义有何不同？
浏览 0提问于2018-04-19得票数 0
回答已采纳
我是tensorflow的初学者，我想实现MLP并基于反向传播算法对其进行训练，但当我阅读教程时，我发现它使用了像“随机梯度下降”这样的优化器，并在没有实现算法阶段的情况下调用了反向传播。这是如何反向传播的？
浏览 8提问于2016-12-15得票数 1
1回答
我有以下模式：
sharedLSTM1 = LSTM((data.shape[1]), return_sequences=True)
sharedLSTM2 = LSTM(data.shape[1])
def createModel(dropoutRate=0.0, numNeurons=40, optimizer='adam'):
inputLayer = Input(shape=(timesteps, data.shape[1]))
sharedLSTM1Instance = sharedLSTM1(inputLayer)
sharedLS
浏览 1提问于2018-02-06得票数 0
回答已采纳
1回答
由于观察不能揭示整个状态，我需要使用递归神经网络进行强化，以便网络对过去发生的事情有某种记忆。为简单起见，我们假设使用LSTM。
现在，内置的shape LSTM需要向它提供shape Time x MiniBatch x Input D的一个PyTorch输入，它输出shape Time x MiniBatch x Output D的张量。
然而，在强化学习中，要知道time t+1的输入，我需要知道time t的输出，因为我是在环境中执行操作。
那么，有没有可能使用内置的BPTT在强化学习环境中进行PyTorch？如果是的话，我该怎么做呢？
浏览 1提问于2017-10-24得票数 3
2回答
我希望设计一个LSTM模型使用Tensorflow，其中的句子是不同的长度。我遇到了一个关于PTB数据集()的教程。这个模型如何捕捉不同长度的实例？该示例没有讨论任何有关填充或其他处理可变大小序列的技术。
如果我使用填充，展开尺寸应该是什么？
浏览 3提问于2016-07-18得票数 1
回答已采纳
我正在使用tensorflow。我的gpu内存不够，所以我想平均4次迭代的梯度来更新变量。
如何在tensorflow中做到这一点？
浏览 3提问于2016-07-28得票数 2
我想在tensorflow中训练一个双向LSTM来执行序列分类问题(情感分类)。
由于序列的长度是可变的，所以批量通常会填充零的向量。通常，我在单向神经网络中使用sequence_length参数来避免在填充向量上进行训练。
如何使用双向LSTM来管理这个问题？"sequence_length“参数是否自动从后向序列中的高级位置开始工作？
谢谢
浏览 4提问于2017-03-21得票数 7
我所拥有的是以下内容，我相信这是一个具有一个隐藏的LSTM层的网络：
# Parameters
learning rate = 0.001
training_iters = 100000
batch_size = 128
display_step = 10
# Network Parameters
n_input = 13
n_steps = 10
n_hidden = 512
n_classes = 13
# tf Graph input
x = tf.placeholder("float", [None, n_steps, n_input])
y = tf.placeh
浏览 1提问于2016-08-25得票数 5
回答已采纳
在培训期间，tensorflow操作如何降低到XLA操作？
tensorflow/编译器/tf2xla/kernels下的文件仅根据ComputationBuilder中的操作定义了正向传递/推理。
这个问题与"“有关，因为我需要在训练和推理过程中将TF操作降低为XLA操作，以传递张量。请也分享你对另一个问题的看法。
谢谢
浏览 3提问于2017-07-17得票数 1
1回答
最大/平均池是基于LSTM输出生成表示的方法。在这种情况下，反向传播是如何发生的？
我理解在未完成池化的情况下反向传播是如何发生的。但我想知道在上述情况下是如何发生的。提前谢谢。
浏览 0提问于2018-07-20得票数 0
我有一个错误 {taskinstance.py:1455} ERROR - Cannot convert a symbolic Tensor (lstm_4/strided_slice:0) to a numpy array. This error may indicate that you're trying to pass a Tensor to a NumPy call, which is not supported 回溯(最近一次调用) 当我使用下面的代码创建LSTM-VAE模型时。 配置： Python: 3.7.9
Tensorflow: 2.4.0
NumPy: 1.1
浏览 121提问于2021-04-28得票数 0
回答已采纳
我一直在尝试使用来自Tensorflow的l1_regularization_strength函数中的ProximalAdagradOptimizer参数来实现Tensorflow的L1正则化。(我专门使用这个优化器来获得一个稀疏的解决方案。)我有两个关于正规化的问题。
优化器中使用的L1正则化适用于神经网络的前向和后向传播，还是只适用于反向传播？
是否有一种方法来分解优化器，使正则化只适用于网络中的特定层？
浏览 1提问于2018-04-13得票数 1
回答已采纳
我最近学习了LSTM，对LSTM的模型参数有点困惑，
下面是LSTM结构
📷
这就是等式(我稍微忽略了每个方程中的偏差)：
i_t = \sigma(x_tU^i + h_{t-1}W^i)
f_t = \sigma(x_tU^f + h_{t-1}W^f)
o_t = \sigma(x_tU^o + h_{t-1}W^o)
\tilde{C}_t = \tanh(x_tU^g + h_{t-1}W^g)
C_t=\sigma(f_t*C_{t-1} + i_{t}*\tilde{C}_t)
h_t = \tanh(C_t)*o_t
我对参数感到困惑：U^i, U^f,
浏览 0提问于2019-03-02得票数 0
回答已采纳
我正在使用Tensorflow对具有单个密集层的LSTM进行建模。我想要完成的是从LSTM获得密集层输出/隐藏表示。我已经检查过Keras中也有类似的方法，但是在Tensorflow中如何做呢？我在下面附加了针对该问题的代码(参考LSTM on sequential data, predicting a discrete column)： # clear graph (if any) before running
tf.reset_default_graph()
X = tf.placeholder(tf.float32, [None, time_steps, inputs], name
浏览 2提问于2019-03-12得票数 1
回答已采纳
我正在实现一个自定义损失函数，如下面的代码所示，用于简单的分类。但是，当我运行代码时，我得到错误ValueError:没有为任何变量提供渐变： import os
os.environ['KERAS_BACKEND'] = "tensorflow"
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from tensorflow import keras
from tensorflow.keras import layers
from sklearn.prep
浏览 32提问于2021-02-04得票数 0
我使用自己的数据跟踪。经过特征工程后，我的df有117行×8列。我所做的数据分割和规范化与教程完全相同。所有用于数据窗口、其他函数和模型的代码都是完全相同的，只是我有一个不同的目标变量
我定义的wide_window与本教程中描述的完全相同：
wide_window = WindowGenerator(
input_width=24, label_width=24, shift=1,
label_columns=[target])
运行这些模型直到LSTM模型正常工作为止。
问题:但是，正在运行
lstm_model = tf.keras.models.Sequential([
浏览 7提问于2022-04-26得票数 0
我读了很多关于在tensorflow中训练神经网络的分布式执行的文章。尤其是在这一页上
但是我找不到我的问题的答案。worker是否在完成每个变量的计算后同步其梯度？或者它会等到完成所有变量后再与PS同步？
浏览 1提问于2017-11-01得票数 0
1回答
我正在尝试从头开始实现一个卷积神经网络。问题是我不明白过滤器是如何在CNN中学习的。 我以前从头开始实现了一个前馈神经网络，我知道反向传播是如何为它们工作的。我也了解CNN的基本架构。但是如何计算更新后的过滤器呢？ 我不想使用像tensorflow这样的库，因为我想了解所有这些背后的概念。
浏览 20提问于2019-05-06得票数 1
我使用带有webgl后端的tfjs在浏览器中使用handpose tensorflow模型进行手部检测。但是，我在控制台Your application contains ops that are small enough to be executed on the CPU backend, however the CPU backend cannot be found. Consider importing the CPU backend (@tensorflow/tfjs-backend-cpu) for better performance.中看到警告 如果我尝试将它添加到我的项目中，
浏览 41提问于2020-10-30得票数 1
我是tensorflow的新手，正在尝试弄清楚tensorflow中的自动区分功能是否可以解决我的问题。所以我有两个网络，每个网络输出一个潜在的向量。因此，假设我的网络A输出潜在向量-La(Hxr) -其中(H，r)表示输出潜在向量La的维度。类似地，net B输出Lb(Wxr)。因此，我的目标函数将这两个延迟都作为输入，并将它们组合在一起，如(La.Lb') where (.)是点积，(')表示转置。我将使用交叉熵来优化这个目标函数。
现在我的问题是，张量流自动差分是否能够正确地计算梯度并反向传播？在这里，这不是一个简单的例子。仅应从梯度w.r.t更新净A。La和net B应
浏览 7提问于2017-07-22得票数 0
回答已采纳
1回答
在回顾有关多维输入和堆叠的LSTM的许多类似问题时，我没有找到一个示例，它为initial_state占位符列出了维数，并遵循了下面的rnn_tuple_state。尝试的[lstm_num_layers, 2, None, lstm_num_cells, 2]是来自这些示例(、)的代码的扩展，在特性的每个时间步骤中为多个值添加了一个额外的feature_dim维度(这不起作用，而是由于tensorflow.nn.dynamic_rnn调用中的维度不匹配而产生ValueError )。
time_steps = 10
feature_dim = 2
label_dim = 4
lstm_num
浏览 0提问于2018-07-09得票数 0
回答已采纳
我在找TensorFlow中所谓的“TensorFlow”。我知道如何在Tensorflow神经网络中使用"DropConnect"，但是我不知道哪种方法用于“”，或者如果它不可用，有人能建议我如何实现吗？
无论如何，我试过“辍学”、“体重衰减”和“早停”，但我仍然受到过度适应的困扰。在TensorFlow中有什么更好的解决方案吗？
浏览 10提问于2016-05-10得票数 7
我正在使用TensorFlow2.1和Python3，按照教程"Tensorflow - Custom training: walkthrough“创建我的自定义训练模型。 我尝试在我的损失函数上使用汉明距离： import tensorflow as tf
import tensorflow_addons as tfa
def my_loss_hamming(model, x, y):
global output
output = model(x)
return tfa.metrics.hamming.hamming_loss_fn(y, output, thres
浏览 79提问于2020-06-11得票数 1
我使用以下代码创建了一个LSTM模型：
model = tensorflow1.keras.Sequential()
model.add(tensorflow1.keras.layers.LSTM(128, input_shape=(720, 4), return_sequences=True)) model.add(tensorflow1.keras.layers.LeakyReLU(alpha=0.5)) model.add(tensorflow1.keras.layers.LSTM(128, return_sequences=True)) model.add(tensorflow1.ke
浏览 3提问于2021-03-15得票数 0
回答已采纳
我对如何定义LSTM的权重矩阵感到困惑。由于LSTM有8个权重矩阵，我不知道如何在tensorflow中初始化这些LSTM的权重矩阵。
但是后来我发现了这个，它完全有意义，因为它有所有的8个权重矩阵，但它没有使用LSTM的tensorflow实现。与LSTM方程一致。但是在LSTM的tensorflow 中，我不知道如何定义所有这8个权重矩阵，因为它们是在上面的第一个实现中定义的。
你能帮帮我吗？
浏览 1提问于2016-08-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
