19 页花书精髓笔记！你可能正需要这份知识清单

重磅干货，第一时间送达

《深度学习》，又名“花书”。该书由三位大佬 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 撰写，是深度学习领域奠基性的经典教材，被誉为深度学习“圣经”。

原书内容非常充实，接近 800 页。读完之后，及时进行高度概括和经验总结是十分有帮助的。本文给大家介绍一份来自 Microsoft 计算机软件工程师 Jeff Macaluso 总结的关于花书的精髓笔记，我们一起来看一下吧！

笔记地址：

https://jeffmacaluso.github.io/post/DeepLearningRulesOfThumb/

为什么写这份笔记？

关于为什么写这份笔记，作者是这么说的：

当我在研究生院第一次学习神经网络时，我问我的教授在选择架构和超参数时是否有经验法则。我半以为他会回答：好吧，有点，但不是真的。毕竟对于神经网络来说，有比其他机器学习算法更多的选择！当我读到 Ian Goodfellow, Yoshua Bengio 和 Aaaron Courville 的《深度学习》一书时，我一直在思考这个问题，并决定编制一份贯穿这本书的知识清单。事实证明，它们还有很多，特别是它们可以完成很多类型的神经网络和任务。

如何评价这份笔记？

作者这样评价自己的这份笔记：

有趣的是，这些经验法则中有很多并没有很好地建立起来——深度学习仍然是一个相对较新的研究领域，因此下面列出的许多规则只是研究人员最近发现的一些东西。除此之外，在这本书中还有很多领域，作者会陈述（更多学术术语）“我们不知道为什么这是有效的，但我们可以看到它是有效的”或者“我们知道这不是最好的方法，但它是一个活跃的研究领域，我们目前不知道任何更好的方法”。

同时也对花书作了中肯的评价：

这不是一个深入学习的书评，但如果你想更深入地了解更成熟的方法以及研究的活跃领域（在出版时），我个人会推荐它。Fast.ai 的 Jeremy Howard（一个学习深入学习实践方面的优秀来源）批评了这本书，因为它过于关注数学和理论，但我发现除了我跳过的所有数学公式外，它还很好地解释了概念和实践方法背后的直觉。

笔记目录：

这份完整的精髓笔记目录包括：

1. 应用数学与机器学习基础

介绍

数值计算

机器学习基础

2. 深度网络：现代实践

深度前馈网络

深度学习中的正则化

深度模型中的优化

卷积网络

序列建模：循环和递归网络

实践和方法论

应用

3. 深度学习研究

线性因子模型

自编码器

表示学习

深度学习中的结构化概率模型

蒙特卡罗方法

近似推断

深度生成模型

同时，作者整理了笔记的精简版关键知识点 TR:DR，便于快速浏览。

知识清单下载

获取方式如下：

1.关注"AI有道" 公众号