具有嵌入层的LSTM RNN的目标向量维数
具有嵌入层的LSTM RNN是一种神经网络模型，可以用于处理序列数据的建模和预测任务。它结合了长短时记忆（LSTM）单元和递归神经网络（RNN）的特性，能够有效地捕捉序列中的长期依赖关系。
目标向量维数是指在LSTM RNN模型中，用于表示预测目标的向量的维度。目标向量通常用于分类或回归任务中，其中每个元素表示某个类别或连续值的预测结果。
具有嵌入层的LSTM RNN的目标向量维数可以根据具体任务和数据的特点来确定。较小的目标向量维数可能适用于简单的分类任务，而较大的目标向量维数可以提供更丰富的预测结果。
优势：
- 长期依赖建模：LSTM RNN能够有效地捕捉序列数据中的长期依赖关系，对于需要考虑上下文信息的任务非常有用。
- 参数共享：在RNN中，相同的权重参数在每个时间步骤上被共享，大大减少了模型的参数量，降低了过拟合的风险。
- 非线性建模：LSTM RNN通过使用非线性激活函数，如sigmoid和tanh，可以建模非线性关系，适用于复杂的序列建模任务。
应用场景：
- 语言建模：LSTM RNN可以用于生成连续文本，例如自动作诗、机器翻译等。
- 时间序列预测：LSTM RNN可以用于预测未来的时间序列数据，例如股票价格预测、天气预测等。
- 情感分析：LSTM RNN可以用于对文本进行情感分类，例如判断评论的积极或消极情感。
- 语音识别：LSTM RNN可以用于将语音信号转换为文本，例如语音助手、语音输入等。
推荐的腾讯云相关产品： 腾讯云提供了一系列人工智能和云计算相关产品，其中一些可以用于支持LSTM RNN模型的开发和部署：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tf） 腾讯云的机器学习平台提供了强大的机器学习和深度学习工具，可以方便地训练和部署LSTM RNN等模型。
- 腾讯云服务器（https://cloud.tencent.com/product/cvm） 腾讯云的服务器提供了强大的计算资源，可以用于运行LSTM RNN模型的训练和推理。
- 腾讯云数据库（https://cloud.tencent.com/product/cdb） 腾讯云的数据库服务提供了可靠的数据存储和查询功能，可以用于存储和管理LSTM RNN模型的数据。
以上是腾讯云的一些相关产品和服务，供您参考。
相关·内容
输入维数
train_ohe :(95036, 50, 21)
y_train :(95036,)
val_ohe :(9911, 50, 21)
y_val :(9911,)
Model：
x_input = Input(shape=(50,))
emb = Embedding(21, 8, input_length=50)(x_input)
bi_rnn = LSTM(50, input_shape=(50,20,50), return_sequences=False)(emb)
x = Dropout(0.3)(bi_rnn)
x_output = Dense(1, activation
浏览 1提问于2020-12-10得票数 0
回答已采纳
1回答
我对LSTM模型中的输入向量感到困惑，我使用的数据是文本数据，例如1000句句子。关于LSTM输入层，我有两个问题：
1.如果我将这些句子标记成向量(我们可以称之为句子向量)，那么Keras中是否有一种方法可以生成给定文档的句子向量？应该是字级的，对吧？
2.第二个问题是LSTM中的三维张量类型。我有1000个句子(样本)，如果我想在每一时间步骤读一个文档，time_step将是1，对吗？最后一个是输入维，这个输入维是每个句子中的单词维(100)，或者在每个时间步骤(10)中观察到多少个单词？
因此，LSTM张量应该是(1000，1，10)或(1000，1,100)
浏览 0提问于2016-10-08得票数 2
回答已采纳
1回答
我一直在阅读发表在Jonathan博客()上的Keras教程，正如他所说的，该教程直接引用了官方的Keras文档。
我不太理解代码的某些部分，它们与嵌入层的维度有关。
让我们看两个例子：
第一个示例：
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.layers import Embedding
from keras.layers import LSTM
import numpy as np
max_features = 10
x_train = np.random
浏览 2提问于2019-06-13得票数 1
回答已采纳
我正在使用TensorFlow编码一个LSTM，它根据前面字符的长度-10串(恰好对应于方向)来预测布尔目标，即URDDLRUDUD。
当我把tf.string张量传递给tf.nn.dynamic_rnn时
multi_rnn_cell = tf.contrib.rnn.MultiRNNCell(
lstm_cells, state_is_tuple=True)
output_data, _ = tf.nn.dynamic_rnn(
multi_rnn_cell,
tf.reshape(input_layer, (batch_size, 10, 1)),
initial_sta
浏览 1提问于2017-05-02得票数 1
回答已采纳
我一直在努力学习如何在tensorflow中对RNN和LSTM进行编码。我在网上找到了一个例子
下面是我难以理解的LSTM网络最终用于char-rnn生成的片段。
x = tf.placeholder(tf.int32, [batch_size, num_steps], name='input_placeholder')
y = tf.placeholder(tf.int32, [batch_size, num_steps], name='labels_placeholder')
embeddings = tf.get_variabl
浏览 1提问于2016-10-25得票数 2
回答已采纳
nn.Embedding()对于学习LSTM是必不可少的吗？
我在PyTorch中使用LSTM来预测NER类似任务的例子在这里- 。
就代码而言，我使用的代码几乎与上述教程中的代码相同。
唯一的细节是-我使用的是word2Vec而不是nn.Embedding()。
因此，我删除了nn.Embedding()层，直接从word2Vec中提供了前向函数。RNN不学习。
因此，nn.Embedding()对于学习LSTM是必不可少的吗？
浏览 3提问于2018-05-14得票数 2
回答已采纳
1回答
LSTM结构比较
、、、、
我正试着根据这张照片建立一个LSTM模型。我是一个深入学习的初学者，特别是RNN结构，所以我需要你的建议来引导我
因此，为了处理70k用户和12k动画的数据格式，我的dataframe包含：
用户id
用户等级
动画id
类型:与动画相关的标签列表:动作，喜剧，学校...etc。
users_tags :由于tfifd方法和一些与用户相关的文本数据，我为唯一用户构建了15个唯一标记。
我的数据看起来像：
anime_id user_id user_rating name tags genre
0 1 234 9.0 Cow
浏览 0提问于2018-08-18得票数 1
回答已采纳
我正试着分批训练一个RNN。输入输入大小( 10，70,3075)，其中10是批处理大小，70是时间维，3075是频率维。
有三个输出，其大小为( 10，70,1025)，基本上10个光谱图与大小(70,1025)。
我想用回归来训练这个RNN，它的结构是
input_img = Input(shape=(70,3075 ) )
x = Bidirectional(LSTM(n_hid,return_sequences=True, dropout=0.5, recurrent_dropout=0.2))(input_img)
x = Dropout(0.2)(x)
x = Bidirec
浏览 0提问于2019-01-18得票数 1
回答已采纳
1回答
这两种使用Dense层的方法有什么区别吗？似乎输出形状是相同的，参数的数量是一样的。
如果我们使用固定的重量，将是相同的输出？将在训练期间得到相同的结果？。
def test_rnn_output_v1():
max_seq_length = 10
n_features = 8
rnn_dim = 64
dense_dim = 16
input = Input(shape=(max_seq_length, n_features))
out = LSTM(rnn_dim, return_sequences=True)(input)
ou
浏览 5提问于2020-04-22得票数 1
回答已采纳
1回答
在堆叠RNN时，必须在Keras中将return_sequences参数设置为True。
比如在喀拉斯，
lstm1 = LSTM(1, return_sequences=True)(inputs1)
lstm2 = LSTM(1)(lstm1)
对于每个堆叠的RNN层来说，保持输入空间的维数是有点直观的，然而，我并不完全相信。
有人(数学上)能解释原因吗？
谢谢。
浏览 3提问于2017-12-06得票数 2
请参阅下面的python代码，我在代码中添加了注释，其中我认为需要强调信息。
import keras
import numpy
def build_model():
model = keras.models.Sequential()
model.add(keras.layers.LSTM(3, input_shape = (3, 1), activation = 'elu'))# Number of LSTM cells in this layer = 3.
return model
def build_data():
inputs = [
浏览 2提问于2020-01-09得票数 3
回答已采纳
2回答
我试图在Keras中构建一个文本LSTM自动编码器。我想使用嵌入层，但我不知道如何实现这一点。代码看起来是这样的。
inputs = Input(shape=(timesteps, input_dim))
embedding_layer = Embedding(numfeats + 1,
EMBEDDING_DIM,
weights=[data_gen.get_embedding_matrix()],
input_length=
浏览 0提问于2017-06-23得票数 6
回答已采纳
1回答
在Keras中使用word嵌入时，我在理解如何获得正确的输出时遇到了问题。我的设置如下：
我的输入是形状(batch_size, sequence_length)的批次。一批中的每一行代表一个句子，单词用单词id表示。句子中填充了零，这样所有的句子都有相同的长度。例如，(3,6)输入批处理可能如下所示：np.array([[135600],[174580],[138272]])
我的目标是由输入批次向右移动一步。因此，对于每个输入词，我想预测下一个单词：np.array([[356000],[745800],[382720]])
我将这样一个输入批次输入到Keras嵌入层。我的嵌入
浏览 5提问于2017-10-05得票数 1
1回答
word_embed = keras.layers.Embedding(len(vocab), 101)
em = word_embed(tf.convert_to_tensor(np.random.rand(10, 48)))
print(em.shape)
# (10, 48, 101)
# 10 sentences in bacth, 48 words in sentence(with padding), 101 - embedding dimension...
lstm = K.layers.LSTMCell(101)
lstm_layer = keras.layers
浏览 11提问于2020-01-13得票数 1
1回答
我正在探索深度学习方法，尤其是LSTM来预测下一个单词。假设，我的数据集如下所示:每个数据点包含7个特征(7个不同的单词)(这里是A)，长度不同。
Group1 Group2............ Group 38
A B F
E C A
B E G
C D G
C F F
D G
浏览 1提问于2019-05-28得票数 1
回答已采纳
我有一个顺序数据集，由两种不同类型的事件(例如A和b事件)组成，特征向量具有不同的大小，即所有A事件都用a维特征向量描述，而所有B事件都用b维特征向量描述，a != b。
请注意，这不是关于可变大小的序列(尽管这里也是如此)，而是由可变大小的向量组成的序列。
我的问题是如何在keras中建立一个RNN (LSTM)，以便从这些序列中学习？
我不想将其简化为分别对A和B事件进行两个不同的RNN培训，因为我需要维护事件{A1、A2、B1、A3、B2、.}的顺序性质。
这就好像我需要一个具有条件输入形状的RNN模型，如果x属于A，则为(None，a)，否则为(None，b)。
我想知道backend
浏览 0提问于2019-02-01得票数 1
我试图将一个LSTM层的输出输入到另一个LSTM层，以及该层的文本。提供给两个LSTM的文本是不同的，我的目标是第二个LSTM在第一个LSTM理解的基础上提高对其文本的理解。
我可以尝试在Tensorflow中这样实现它：
# text inputs to the two LSTM's
rnn_inputs = tf.nn.embedding_lookup(embeddings, text_data)
rnn_inputs_2 = tf.nn.embedding_lookup(embeddings, text_data)
# first LSTM
lstm1Output, lstm1S
浏览 0提问于2018-02-02得票数 0
回答已采纳
1回答
我是Keras的新手，在Keras documentation中浏览了LSTM及其实现细节。这很容易，但突然间，我通过的帖子和评论。它使我对实际的LSTM体系结构感到困惑：
以下是代码：
model = Sequential()
model.add(LSTM(32, input_shape=(10, 64)))
model.add(Dense(2))
根据我的理解，10表示no。的时间步骤，每个步骤都被馈送到各自的LSTM cell；64表示no。每个时间步骤的特征。
但是，上面的评论和实际的答案使我对32的含义感到困惑。
另外，LSTM的输出是如何连接到Dense层的。
一个手绘的图表解释将
浏览 2提问于2018-12-29得票数 2
回答已采纳
3回答
import torch,ipdb
import torch.autograd as autograd
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torch.autograd import Variable
rnn = nn.LSTM(input_size=10, hidden_size=20, num_layers=2)
input = Variable(torch.randn(5, 3, 10))
h0 = Variable(torch.randn(2, 3
浏览 8提问于2017-07-10得票数 35
回答已采纳
1回答
我想让神经网络在，但不知道如何重塑输入或我的自定义嵌入层。它是由Google TensorFlow集线器模块创建的，用于为LSTM层提供三维输入。
通常，当我们需要重塑一个LSTM网络时，我们重塑输入，而不是另一个层。具体来说-根据，我们希望形状表示：
样本:一个序列就是一个样本。一批由一个或多个样本组成。
时间步骤:一个时间步骤是样本中的一个观察点。
特征:一个特性是一步一步的观察。
我的代码：
import tensorflow_hub as hub
from tensorflow.dtypes import as_string
import tenso
浏览 1提问于2019-04-17得票数 0
1回答
目前我有形状为( 50，25)的输入X，其中有50个特征向量，每个向量有25个维度。例如，X的数据如下：
X = [[0. 0. 0. ... 1. 1. 1.]
[0. 0. 0. ... 1. 1. 1.]
[0. 0. 0. ... 1. 1. 1.]
...
[0. 0. 0. ... 1. 1. 1.]
[0. 0. 0. ... 1. 1. 1.]
[0. 0. 0. ... 1. 1. 1.]]
并且输出标签y是长度为50的[0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
浏览 3提问于2021-05-24得票数 0
1回答
我刚开始深造。我正在尝试做一个非常基本的LSTM网络上的字嵌入功能。我已经为模型编写了以下代码，但我无法运行它。
from keras.layers import Dense, LSTM, merge, Input,Concatenate
from keras.layers.recurrent import LSTM
from keras.models import Sequential, Model
from keras.layers import Dense, Dropout, Flatten
max_sequence_size = 14
classes_num = 2
LSTM_w
浏览 1提问于2018-09-26得票数 0
回答已采纳
1回答
当我们在matlab中创建LSTM层时，我们将numHiddenUnits指定为layer = lstmLayer(numHiddenUnits)。我有两个问题要问。
(1)：numHiddenUnits是什么意思？
它代表LSTM细胞的数量吗？如果是，那么这些单元是串连的还是并行的(它们之间没有交互作用)。
不幸的是，无法可视化(RNN)网络。我理解一个LSTM单元是如何工作的，但是我不知道下面的体系结构是什么样的。
我的网络是由这些层组成的。
layers = [ ...
sequenceInputLayer(numFeatures)
lstmLayer(numHidden
浏览 9提问于2020-04-30得票数 1
回答已采纳
1回答
理解嵌入向量维数
、、、、
在深度学习中，特别是在NLP中，单词被转换成向量表示，然后输入到神经网络(如RNN )中。通过提及链接：
在单词嵌入一节中，有人说：
单词嵌入W: word→Rn是某种语言中的一个参数化函数映射词到高维向量(可能是200到500个维)。
我不明白向量维数的目的是什么。向量为200维，而向量为20维是什么意思？
它是否提高了模型的整体精度？有人能给我一个关于向量维数选择的简单例子吗？
浏览 3提问于2019-05-10得票数 0
回答已采纳
我想用TensorFlow来解决一个有监督的问题。它很简单：
字符串输入的列表。该字符串的格式为：“word_10-062017”
浮动输出的列表。标签是一个浮标: 3.0
我想使用带有这种格式的字符串集和一组浮动标签来训练模型。
系统信息
Windows 7 x64
Tensorflow 1.2
Python 3.5.2
IDE Pycharm 2017.1.1
我正在使用这段代码：
# Input placeholder
x = tf.placeholder(tf.string, shape=[None, 1, 1])
...
# Define
浏览 7提问于2017-07-18得票数 1
1回答
流LSTM像素级分类
、、、、
如何对LSTM网络进行像素级分类？特别是在Tensorflow。
我的直觉告诉我，输出张量(代码中的pred &y )应该是与输入图像具有相同分辨率的二维张量。换句话说，输入图像为200x200，输出分类为200x200。
Udacity课程包括输入图像为28x28的LSTM网络示例。然而，它是一个图像(作为一个整体手写MNIST数据集)分类网络.
我的想法是，我可以用维度[n_classes]替换所有张量，使用[n_input][n_steps] (下面的代码)。然而，它在矩阵乘法中抛出一个错误。
Udacity示例代码部分如下所示：
n_input = 28 # MNIST dat
浏览 1提问于2016-06-07得票数 1
回答已采纳
我的问题是关于元素的动态或静态rnn输出的维度。
nlu_input = tf.placeholder(tf.float32, shape=[4,1607,1])
cell = tf.nn.rnn_cell.BasicLSTMCell(80)
outts, states = tf.nn.dynamic_rnn(cell=cell, inputs=nlu_input, dtype=tf.float32)
然后tf.gloabal_valiables()返回以下列表。
[<tf.Variable 'rnn/basic_lstm_cell/kernel:0' shape=(81
浏览 0提问于2018-01-28得票数 1
我试着用训练LSTM来表现得像个控制器。至关重要的是，这是一个对许多问题。我有7个输入功能，每个功能是一个40个值的序列。我的输出有两个特性，也是由40个值组成的序列。
我有两层。第一层有四个LSTM细胞，第二层有两个LSTM细胞。代码如下所示。
代码按预期运行并产生输出，但我无法减少训练错误(均方误差)。在前1000个时代之后，这个错误就停止了。
我试过使用不同的批次大小。但我得到了很高的误差，即使它的批次大小是一个。我尝试了一个简单的正弦函数的网络，它工作正常，即误差在减小。这是因为我的序列长度太大，导致了消失梯度问题。我能做些什么来改善训练错误？
#Specify input and o
浏览 4提问于2017-06-15得票数 1
1回答
我正在使用Keras完成一个句子相似任务(使用STS数据集)，并且在合并这些层时遇到了问题。数据由1184个句子对组成，每个句子得分在0到5分之间。下面是我的numpy数组的形状。我已经将每个句子填充成50个单词，并通过和嵌入层，使用手套嵌入的100维。在合并两个网络时，我得到了一个错误..
Exception: Error when checking model input: the list of Numpy arrays that you are passing to your model is not the size the model expected. Expected to s
浏览 1提问于2016-12-09得票数 7
回答已采纳
我试图用Keras来实现一个视觉讲故事模型，它有一个层次RNN模型，基本上是一个神经图像描述器的样式，但是在解码器RNN上有一个双向RNN的一系列照片上。
我分别实现并测试了该模型的三个部分: CNN、BRNN和解码器RNN，但是当试图连接它们时，得到了这个错误：
ValueError:对于渐变操作，没有任何操作。请确保您的所有操作都定义了一个梯度(即可微性)。无梯度的普通操作: K.argmax，K.round，K.eval。
我的代码如下：
#vgg16 model with the fc2 layer as output
cnn_base_model = self.cnn_mod
浏览 0提问于2018-03-24得票数 6
1回答
我正在学习神经网络，我试图实现和理解LSTM和其他经常使用Keras的NNs。
我一直试图通过阅读文章和书籍来理解它们，特别是：。但是我很难把这个理论和实际的例子联系起来。
例如，我将时间序列数据重新格式化为三维数组。我的数组有大小(12000,60,1)，目标是预测下一步。我的理解是，我的时间步骤是60.
LSTM结构如何使用这些数据，特别是时间步骤？
我目前的想法是，在图中，LSTM接受第一个60步数组，并使用第一个元素作为X_0，然后‘执行LSTM单元格所做的’，更新的单元格状态传递到下一个单元格，在该单元格中输入X_1并重复处理。
现在，当这60个元素都通过它们的每个单
浏览 0提问于2019-08-06得票数 0
回答已采纳
我正在向tf.nn.dynamic_rnn函数传递一个3层的LSTM .我想以一种特定的方式处理来自dynamic_rnn函数的输出:也就是说，我想让dynamic_rnn输出流到一个完全连接的层。dynamic_rnn输出为3阶张量，形状为[batch_size, sequence_length, hidden_dim].
我过去常常将output[:, -1] (其形状为[batch_size, hidden_dim] )传递给FC层，因为我过去只想使用dynamic_rnn的最后一个输出。
然而，这一次我想使用整个序列的输出，也就是output[:]，这是一个三维张量，但是连接到FC层的
浏览 5提问于2017-09-11得票数 1
回答已采纳
2回答
请有人解释一下下面所述层的输入和输出以及工作情况。
model.add(Embedding(total_words, 64, input_length=max_sequence_len-1))
total_words = 263
max_sequence_len=11
是64维数吗？
以及为什么这个层的输出(无，10，64)
它不应该是每个单词的64维向量吗，也就是说(无，263，64)
浏览 0提问于2020-08-24得票数 1
回答已采纳
我目前正在使用tensorflow和python处理多层LSTM。我使用initial_state在tf.nn.dynamic_rnn中将单元格的前一个状态传递到下一步。
创建这样的层：
cells = []
for c in range(0, num_layers):
cells.append(tf.nn.rnn_cell.BasicLSTMCell(num_units = num_units, forget_bias = 1.0, activation = tf.nn.tanh))
basic_cell = tf.nn.rnn_cell.MultiRNNCell(cells)
st
浏览 0提问于2018-03-22得票数 0
我试图在奖金部分-> 下列出的Keras字级示例上实现，如果我想使用带有整数序列的字级模型呢？
我已经用名称标记了这些层，以帮助我稍后将这些层从加载的模型重新连接到推理模型。我想我已经效仿了他们的榜样：
# Define an input sequence and process it - where the shape is (timesteps, n_features)
encoder_inputs = Input(shape=(None, src_vocab), name='enc_inputs')
# Add an embedding layer to proce
浏览 0提问于2018-08-13得票数 0
回答已采纳
我刚接触过tensorflow和机器学习。最近我在做一个模特。我的模型如下，
字符级嵌入向量->嵌入查找-> LSTM1
字级嵌入向量->嵌入查找-> LSTM2
LSTM1+LSTM2 ->单层MLP-> softmax层
LSTM1+LSTM2 ->单层MLP-> WGAN鉴别器
rnn模型的编码
当我处理这个模型时，我得到了以下错误。我觉得我的批次太大了。因此，我试图将批处理大小从20减少到10，但它不起作用。
[节点: chars/bidirectional_rnn/bw/bw/while/bw/lstm_c
浏览 3提问于2017-12-28得票数 15
回答已采纳
1回答
我有一些图像方面的经验，并在使用CNN的图像分类中游玩过，但对于文本数据，我的知识有限。
我目前想要分类的输入写成：
hjkhghkgfghjkhghkgfghfefdefdcdefghjkjh-hjhgfe
fdcd-dd-fdc-dad-ad-dfe-cde-dggf-ghd-gg-bcd
hjkhghkgfghjkhghkgfghfefdefdcdefghjkjh-gh-gfed
dh-hg-gf-gh-dh-hg-gf-gh-hkhg-kh-hg-gf-gh-hkhg-kh-hg-gf-ghh-hgfg-dfd-dc-fgf-gh
我有2000多行这些数据，需要分类。我知道，对于常规文
浏览 0提问于2020-07-28得票数 2
回答已采纳
我尝试用RNN网络创建模型，但我收到了:层输入0与层lstm_9不兼容:预期的ndim=3，找到了ndim=4。完全接收到: None，2,4000,256错误。
输入
train_data.shape() = (100,2,4000)
train_labels.shape() =(100,)
labels_values = 0 or 1 (two classes)
模型
input = Input(shape=(2,4000)) # shape from train_data
embedded = Embedding(2, 256)(input)
lstm = LSTM(1024, r
浏览 1提问于2020-04-29得票数 1
回答已采纳
我有一个输入数组的形状(1000,20，4)和输出(标签)的形状(1000,25,1)。但是，不知道如何使用Keras库来为此建立顺序模型！
有人能帮我设计一个简单的LSTM吗？(我试图以几种方式使用RepeatVector()和TimeDistributed(Dense())，但我得到了如下错误：
model = Sequential()
model.add(LSTM(units = un , input_shape = (20, 4), return_sequences = False))
model.add(RepeatVector(25))
model.add(LSTM(un ,
浏览 0提问于2019-03-04得票数 1
回答已采纳
1回答
我目前正在使用model.add(LSTM(50))设置向量大小，即设置units属性中的值，但我非常怀疑它的正确性(在keras文档中，单位被解释为输出空间的维数)。有谁能帮我吗？
浏览 1提问于2018-10-13得票数 0
我在GPU支持下使用Tensorflow 1.1.0，我有以下功能：
def get_init_cell(batch_size, rnn_size, keep_prob=0.75, layers=2):
"""
Create an RNN Cell and initialize it.
:param batch_size: Size of batches
:param rnn_size: Size of RNNs
:return: Tuple (cell, initialize state)
"""
浏览 0提问于2017-05-08得票数 0
回答已采纳
我试图用LSTM实现一个序列标记模型。举个例子，我有200个句子，每个标记都有一个1024维的嵌入。我还将所有句子填充到80维向量。因此，我有一个形状为(200,80,1024)的输入矩阵。 我还填充了目标。我对句子的每个标记都有一个标记。所以y的形状是(200,80)。 我以这种方式尝试使用LSTM from keras.models import Model, Input
from keras.layers.merge import add
from keras.layers import LSTM, Embedding, Dense, TimeDistributed, Dropout,
浏览 40提问于2020-03-30得票数 0
回答已采纳
1回答
我正在做一个关于文本数据的研究项目(它是关于搜索引擎查询，监督分类)。我已经实现了不同的方法，我还对文本使用了不同的模型(例如，我的词汇表的维数的二进制向量-1，如果I-第一个单词出现在文本中，否则--或者嵌入到模型word2vec中的单词)。
我的顾问告诉我，也许我们可以用递归神经网络找到查询的另一种表示形式。这种表示法应该考虑到词在文本中的顺序性，这要归功于重复关系。我读过一些关于RNN的文档，但是我没有发现任何对这个目标有用的东西。我读过很多关于语言建模(它可以预测单词的概率)的内容，但是我不明白我如何才能适应这个模型来获得类似于嵌入向量的东西。
非常感谢!
浏览 1提问于2016-07-25得票数 1
回答已采纳
1回答
根据Udemy教程，我正在keras中实现一个LSTM网络。在教程视频中，代码正在运行，但当我自己运行它时，它得到的错误是：
检查目标时错误:期望dense_26具有三维，但得到形状为(1198，1)的数组
它与Spyder的版本有关吗？x_train的大小是(1198,60,1)，y_train的大小是(1198,)
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
#Importing the training set
dataset_train = pd.read_csv('E:\\d
浏览 2提问于2019-11-10得票数 0
回答已采纳
1回答
我想做的是:用二维的输入观测序列来预测轨道元素，即
input = X = [position_{t_{0}}, position_{t_{1}},\ ..., position_{T}]
output = y = parameters\ of\ observed\ orbit
位置是(x，y)坐标，参数是描述二维平面中的椭圆的少数值。
📷
到目前为止我所做的:我使用了一个非常非常基本的([X_{o_{i}}^{1},X_{o_{i}}^{2},\ ...], y_{o_{i}})堆栈模型，它是用o_{i}是二维轨道的情况下训练的。[X_{o_{i}}^{1},X_{o_{i}}^{2
浏览 0提问于2020-06-02得票数 2
回答已采纳
2回答
我正在尝试使用tensorflow对句子相似度进行建模。理想的做法是，首先将连接的句子馈送到rnn，然后将rnn的输出馈送到softmax，以进行二进制分类，无论相似与否。我对做了一些减号修改，但是成本不会像预期的那样降低。
cost: 0.694479
cost: 0.695012
cost: 0.6955
...
代码如下。任何形式的帮助都将不胜感激。
class PTBModel(object):
"""The PTB model."""
def __init__(self, is_training, config):
self.
浏览 0提问于2016-05-03得票数 7
我试图将一个现有的经过训练的PyTorch模型移植到Keras中。
在移植过程中，我被困在了LSTM层。
LSTM网络的Keras实现似乎有三种状态矩阵，而Pytorch实现有四种状态矩阵。
例如，对于具有hidden_layers=64、input_size=512和输出size=128状态参数的双向LSTM，如下所示
Keras 的态仿射
[<tf.Variable 'bidirectional_1/forward_lstm_1/kernel:0' shape=(512, 256) dtype=float32_ref>,
<tf.Variable
浏览 2提问于2018-01-20得票数 11
回答已采纳
1回答
学习单词嵌入的常用方法是基于弓模型和跳格模型.
是否有可能训练一个基于RNN的体系结构，比如GRU或LSTM，从一个大语料库中随机的句子来学习单词嵌入？基本上，我们训练一个网络的正负样本，并反向传播到字向量。这种技术的缺点是什么？
任何对类似作品的引用都将受到高度赞赏。
浏览 0提问于2018-08-17得票数 3
回答已采纳
在变压器模型中，常采用正弦余弦函数的位置编码.
假设X \in R^{l\times d}是一个示例的嵌入，其中l是序列长度，d是嵌入大小。该位置编码层编码X‘S位置P \in R^{l\times d}并输出P + X
位置P是一个二维矩阵，i表示句子中的顺序，j表示沿嵌入向量维数的位置。这样，原点序列中的每个值就会使用下面的方程式来保持：
{P_{i, 2j} = \sin \bigg( \frac{i}{10000^{2j/d}}} \bigg)
{P_{i, 2j+1} = \cos \bigg( \frac{i}{10000^{2j/d}}} \bigg)
对于i = 0,...,
浏览 0提问于2020-11-24得票数 2
回答已采纳
2回答
字向量作为输入
、、、、
我有一个语料库，我想用LSTM和word嵌入来进行情感分析。我已经使用Word2Vec将文档中的单词转换为单词向量。我的问题是如何将这些字向量输入到Keras？我不想使用Keras提供的嵌入。
浏览 0提问于2016-09-07得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
