在序列到序列学习（seq2seq）中，我们逐个预测输出序列，直到预测序列中出现特定的序列结束词元'<eos>'。本节将首先介绍贪心搜索（greedy sea...

  正如我们在机器翻译与数据集中看到的，机器翻译中的输入序列和输出序列都是长度可变的。为了解决这类问题，我们在编码器-解码器架构中设计了一个通用的”编码器－解码...

  “编码器－解码器”体系架构中的术语状态会启发人们使用具有状态的神经网络来实现该架构。在下一节中，我们将学习如何应用循环神经网络，来设计基于“编码器－解码器”...

深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和...

深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和...

深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大...

深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大...

  在通过时间反向传播中，我们讨论了如何在循环神经网络中计算梯度，以及矩阵连续乘积可以导致梯度消失或梯度爆炸的问题。下面我们简单思考一下这种梯度异常在实践中的意...

  到目前为止，我们已经反复提到像梯度爆炸或梯度消失，以及需要对循环神经网络分离梯度。例如，在循环神经网络的从零开始实现中，我们在序列上调用了detach函数。...

长短期记忆 (LSTM) 网络是一种特殊的循环神经网络 (RNN)，能够学习长期依赖关系。在常规的 RNN 中，小权重通过几个时间步一遍又一遍地相乘，并且梯度逐...

  高级API提供了循环神经网络的实现。我们构造一个具有256个隐藏单元的单隐藏层的循环神经网络层rnn_layer。事实上，我们还没有讨论多层循环神经网络的意...

  从零开始实现上述循环神经网络模型，虽然有指导意义，但是并不方便。在下一节中，我们将学习如何改进循环神经网络模型。例如，如何使其实现地更容易，且运行速度更快。

  有许多不同的方法可以构建循环神经网络，由式(5)定义的隐状态的循环神经网络是非常常见的一种。对于时间步

  在文本预处理中，我们了解了如何将文本数据映射为词元，以及将这些词元可以视为一系列离散的观测，例如单词或字符。假设长度为

深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和...

。隐马尔可夫模型中的动态规划超出了本节的范围（我们将在双向循环神经网络再次遇到），而动态规划这些计算工具已经在控制算法和强化学习算法广泛使用。

  在前面两篇文章中，我们分别介绍了神经网络的基础概念和最简单的MLP，以及适用于图像处理的CNN。从中我们可以意识到，不同结构的神经网络具有不同的特点，在不同...

引言： 循环神经网络（Recurrent Neural Network，简称RNN）是一种能够处理序列数据的神经网络模型。它具有记忆能力，能够捕捉到序列数据中...

对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为重要的深度学习（deep learning）算法 ，其中双向循环神经网络（Bidirect...

深度学习是机器学习的一个子领域，专注于使用多层神经网络（深度神经网络）来解决复杂任务。深度学习模型通常包含多个隐藏层，这使得模型能够学习到更复杂和抽象的特征表示...