通俗讲解循环神经网络的两种应用

推荐阅读时间5min~8min

主要内容：通俗的介绍了循环神经网络的两种应用

-------------------------------------------------------

作者：双神

介绍：哈工大微软亚洲研究院联培博士

RNN的应用主要有两个，一个就是用来建模表示句子，得到一个完整的句子表示。一个是用来表示句子当上下文语境，比如到某一个单词的时候，RNN的隐藏层状态能够表示为从开始到该词语的句子语境表示，下面具体说一下。

1

RNN用作表示句子

它的应用可以有情感分析，条件句子建模，抽取，比如就情感分析为例来看。

我们任务的表示是：

Input: a sentence

Output: a sentiment label (2-class)

比如说：

Input I hate this movie

Output 1（代表正情感）

那种在传统中的做法是将“I hate this movie”这句话通过特征工程，变成一个特征向量，然后送入分类器。

而在RNN表示为句子的时候，我们将“I hate this movie”通过一个RNN，在最后一个RNN的隐藏层状态得到该句子的表示，然后相当于得到它的特征向量，如下：

其余两个条件生成和抽取的应用也是类似。

2

表示上下文语境

我们可以看到，表示为上下文语境的应用有序列标注（词性标注），语言模型预测下一个单词。

为什么这么说呢？

比如在预测this的词性的时候，我们并不是独立的只看单个this单词对最后的预测的影响，而是前面的RNN单元一起通过时间序列传过来的隐层表示作为当前的语境表示用于最后的词性预测：

如下表示：

转自：机器学习算法与自然语言处理