大数据文摘作品
吴恩达深度学习系列课程的第五部分更新后,整个课程终于完结。紧随吴老师的步伐,文摘菌邀请到了两位对该领域颇有研究的学者,为大家赶制了课程第五部分内容的笔记,趁着学习热情还未退去,尽快拿下这门课程!
让我们先来回顾一下第五部分课程内容简介:
第一周:循环神经网络RNN
RNN
Gated Recurrent Unit(GRU)
LSTM
第二周:自然语言处理和词嵌入
Word2Vec
GloVe
第三周:序列模型和注意力机制
Beam Search
语音识别
与内容相对,我们的笔记也按课程安排分为三个部分,分别是RNN相关理论介绍、结合Word2Vec和GloVe的应用以及RNN在机器翻译和语音识别等方面的应用。
序列模型
序列模型, 普遍称为RNN(递归神经网络 - Recurrent Neural Network), 做为深度学习中非常重要的一环,有着比普通神经网络更广的宽度与更多的可能性,其应用领域包括但不限于“语音识别”, “自然语言处理”, “DNA序列分析”,“机器翻译”, “视频动作分析”,等等等等... 有这样一种说法,也许并不严谨,但是有助于我们理解RNN,大意是这样的:
普通神经网络处理的是一维的数据,CNN处理的是二维的数据,RNN处理的是三维的数据。
最直观的理解是在CNN对图片的分析基础上,RNN可以对视频进行分析,这里也就引入了第三维“时间”的概念。
RNN模型可以用下图表示:
Word2Vec
Beam Search介绍
鉴于微信呈现方式有限,我们在本文文末仅用图片形式发布部分笔记,希望查看更完整的笔记请点击以下链接前往收藏:
大数据文摘GitHub专栏:
https://github.com/theBigDataDigest/Andrew-Ng-deeplearning-part-5-Course-notes-in-Chinese
大数据文摘CSDN专栏:
Coursera课程链接:
https://www.coursera.org/learn/nlp-sequence-models
领取专属 10元无门槛券
私享最新 技术干货