深度学习经典著作迎重大更新，新增JAX实现与多技术章节

《Dive into Deep Learning》一书的作者们近期宣布了对这本开源交互式书籍的重要更新。该书教授深度学习模型背后的思想、数学理论和代码，此次更新包括增加Google JAX的实现，并为第二卷增加了三个新章节。此外，作者们表示，该书第一卷的精装版将由剑桥大学出版社出版。

这本已被全球400多所大学采用的交互式书籍，新增了对Google JAX的实现。JAX是一个用于高性能数值计算的Python编程库，其应用程序接口（API）基于科学编程中常用的函数库NumPy。作者们表示，据他们所知，《Dive into Deep Learning》是第一本提供JAX实现的深度学习书籍。该书也支持MXNet、PyTorch和TensorFlow编程框架。

该书第二卷还增加了三个新章节：强化学习、高斯过程和超参数优化；每个章节均由某中心的科学家或与某中心有关联的科学家撰写。

作者们以强化学习相关内容为例，说明了项目负责人希望保持内容时效性的愿望。近期研究社区对ChatGPT的热情，为解释其背后的关键技术之一提供了契机。在介绍强化学习章节时，作者们写道："在本章中，我们将介绍强化学习的基础知识，并获得实现一些流行强化学习方法的实践经验。我们将首先提出马尔可夫决策过程（MDP）的概念，这使我们能够思考此类序列决策问题。值迭代算法将是我们解决强化学习问题的第一个切入点，前提是我们假设我们知道MDP中不受控变量（在强化学习中，这些受控变量称为环境）的典型行为方式。利用值迭代的更通用版本——Q学习算法，即使我们不完全了解环境，也能够采取适当的行动。然后，我们将研究如何通过模仿专家的行为，在强化学习问题中使用深度网络。最后，我们将开发一种使用深度网络在未知环境中采取行动的强化学习方法。这些技术构成了当今在各种实际应用中使用的更高级强化学习算法的基础，我们将在本章中指出其中的一些应用。"

关于高斯过程的新章节由某中心的访问学者、纽约大学机器学习小组负责人撰写。在介绍新章节时，他写道："学习高斯过程很重要，原因有三：（1）它们提供了建模的函数空间视角，这使得理解包括深度神经网络在内的各种模型类别变得更加容易；（2）它们在许多应用中是最先进的技术，包括主动学习、超参数学习、自动化机器学习和时空回归；（3）在过去几年中，算法的进步使得高斯过程越来越具有可扩展性和实用性，并通过GPyTorch等框架与深度学习相协调。事实上，高斯过程和深度神经网络不是相互竞争的方法，而是高度互补的，可以结合起来产生巨大的效果。这些算法进展不仅与高斯过程相关，而且为深度学习中广泛使用的数值方法奠定了基础。"

关于超参数优化的新章节由某中心位于德国柏林办公室的科学家们撰写。在介绍该主题时，作者们写道："每个机器学习模型的性能都取决于其超参数。它们控制着学习算法或底层统计模型的结构。然而，在实践中没有通用的方法来选择超参数。相反，超参数通常由实践者通过试错方式设置，有时甚至保留其默认值，导致泛化性能不理想。超参数优化通过将其转化为优化问题，为此提供了系统性的解决方法：一组好的超参数应该（至少）最小化验证误差。与机器学习中出现的大多数其他优化问题相比，超参数优化是一个嵌套优化问题，其中每次迭代都需要训练和验证一个机器学习模型。在本章中，我们将首先介绍超参数优化的基础知识。我们还将介绍一些最新的进展，这些进展通过利用原始目标函数的廉价评估代理来提高超参数优化的整体效率。在本章结束时，你应该能够应用最先进的超参数优化技术来优化你自己机器学习算法的超参数。"

在其他相关消息中，由某中心高级科学家、卡内基梅隆大学助理教授兼某中心访问学者、某中心高级首席科学家以及某中心副总裁兼杰出科学家共同撰写的原版第一卷，将于2023年由剑桥大学出版社出版。