林宙辰教授：机器学习中的交替方向乘子法

使用机器学习技术解决实际应用问题涉及模型的建立、训练及评估等步骤. 优化算法常被用于训练模型的参数, 是机器学习的重要组成部分. 机器学习模型的训练可以建模成无约束优化问题或带约束优化问题, 约束可以为模型增加更多的先验知识. 基于梯度的算法 (例如加速梯度法、随机梯度法等) 是求解无约束优化问题的常用方法, 而交替方向乘子法 (ADMM) 则是求解带约束优化问题的有力工具.

《机器学习中的交替方向乘子法》概述了机器学习中 ADMM 的新进展. 书中全面介绍了各种情形下的 ADMM, 包括确定性和随机性的算法、集中式和分布式的算法, 以及求解凸问题和非凸问题的算法, 深入介绍了各个算法的核心思想, 并为算法的收敛性和收敛速度提供了详细的证明.

机器学习和计算机视觉领域

国际知名专家

林宙辰教授

领衔撰写

本书特点

该书介绍了交替方向乘子法的基本数学形式以及若干变化形式, 其核心内容涵盖了针对不同类约束(主要是线性约束) 问题的ADMM 的收敛性分析, 包括凸问题、非凸问题、确定性问题、随机问题、中心化/分布式问题等。

院士推荐

交替方向乘子法(ADMM) 是求解带约束优化问题的一种重要算法, 它尤其适合求解机器学习问题, 因为机器学习领域一般不需要求解到很高的数值精度, 但是要求每次迭代的开销比较低. 鉴于该算法适用范围广、使用起来很方便, 如果有人想要开发一个通用优化库或人工智能芯片, 我会毫不犹豫地将该算法列为首要推荐之一.

——徐宗本

交替方向乘子法(ADMM) 可被看作块坐标下降法在线性约束优化问题上的扩展. 考虑到大量应用问题可以被建模为线性约束的优化问题(凸/非凸、光滑/非光滑), ADMM 一直是涉及大数据的机器学习和信号处理问题的首选.

                                                                     ——罗智泉

《机器学习中的交替方向乘子法》是《大数据与数据科学专著系列》丛书分册之一。该丛书是由徐宗本院士和梅宏院士联合主编的一套总结大数据与数据科学领域的最新科研成果的高端丛书，展示了数据科学的新思想、新观念、新理论、新方法及其所带来的新价值。丛书分册作者来自我国一流大学的优秀科学家，他们近年来在数据科学领域做出了一系列具有国际水平的科研成果。阅读本丛书有助于读者从数学、统计学、计算机和信息科学等多学科融合的角度学习数据科学的前沿方法和技术。

本丛书的读者对象主要是数学、统计学、计算机科学、人工智能、管理科学等学科领域的大数据、人工智能、数据科学研究者以及信息产业从业者, 也可以是科研和教育主管部门、企事业研发部门、信息产业与数字经济行业的决策者。

作者简介

林宙辰，机器学习和计算机视觉领域的国际知名专家，目前是北京大学智能学院跨媒体通用人工智能全国重点实验室教授；曾多次担任多个人工智能顶级会议的领域主席，包括CVPR、ICCV、ICML、NIPS/NeurIPS、AAAI、IJCAI 和ICLR，并曾任ICPR 2022 程序共同主席和ICML 2022、NeurIPS 2022、CVPR2023、ECAI2023、NeurIPS2023 的资深领域主席；曾任IEEE Transactions on Pattern Analysis and Machine Intelligence 编委；现任International Journal of Computer Vision 和Optimization Methods and Software 的编委，IAPR、IEEE 和CSIG 会士。

李欢，于2019 年在北京大学获得博士学位，专业为机器学习；目前是南开大学人工智能学院的助理研究员，研究兴趣包括优化和机器学习。

方聪，于2019 年在北京大学获得博士学位，专业为机器学习；目前是北京大学智能学院跨媒体通用人工智能全国重点实验室助理教授，研究兴趣包括机器学习和优化。

适用领域