深度学习“理论在哪里”？再思考-胡包钢研究员2017NIPS会议感想

【前言】本文原本是为《

基于信息理论的机器学习

》教程中文注释后记准备的。但是上周我参加NIPS学术会议期间曾受《专知》邀请建议回来后写些会议感言。为简单将这感言与后记内容融合在一起。因为两件事情内容是相关的，同时涉及到了这次NIPS会议中争锋的问题：“炼金术还是理论指导”？具体争锋内容请见专知早前一篇文章。文末有我这次关于回答“理论在哪里？”的个人见解。

图1.学术交锋是学术发展的重要方式。该讲座左图是LeCun教授形容増强学习如同机器学习蛋糕上的一个樱桃，比例很少。右图是讲者形容他们的方法不只是一个樱桃。

▌感想

本人参加NIPS学术会议后的最大体会是感受到了学界对深度学习发展中的热情、焦虑、与思考。机器学习中的解释性（包括理论层面与可视化层面）已经成为重要研究专题。国际著名学者间关于“炼金术”的交锋反映了缺失理论已经成为人工智能与机器学习发展中的“痛点”。

实际上今年Yann LeCun教授3月22日访问我们自动化研究所与清华大学期间在回答问题中都给出了以下说法：火车诞生产生了热力学，飞机诞生产生了空气动力学，人工智能发展也在期盼着它的基础理论，希望学界共同努力发展基础理论。前不久姚期智先生与丘成桐先生也明确指出人工智能发展亟需理论。

可以理解学科发展中的“痛点”必然预示着该学科未来发展的“爆发点”。中国在人工智能领域中的表现已经是异军突起。然而中国企业以及华人的杰出贡献仅仅是刚刚开始，因为中国人才的爆炸式发展还在延续（在此特别致谢40年前“提出恢复高考的第一人” 的武汉大学查全性教授勇于担当以及邓小平先生的远见卓识）。

但是我们在基础理论研究方面整体实力差距很大，我们要向前苏联学者统计学习理论创立者V.N. Vapnik,以及深度学习中的三剑客（G. Hinton, Y. LeCun, Y. Benjio）学者学习。不要只看到他们曾经或现有的荣誉辉煌，在逆境中他们的执着创新精神才是真谛。我们还要知道他们分别对应了两大学派，并有过多次尖锐的交锋。

深度学习的命名有区分浅层学习（Sallow Learning）的动机。浅层学习中的代表方法有单隐层神经网络与SVM。英文中的Sallow 同时包括了“浅薄”的语义内涵。对此，Vapnik教授开始了回击说法(http://stat.rutgers.edu/home/hcrane/seminar/shannon.pdf)，没有理论指导的深度学习是使用了一种“蛮力（Brute Force）”。他认为这是恶魔的行事方式，与智能方式无关。事实上，深度学习学派已经开始了理论解释方面的探索。由此可见，“理论基础在哪里？”是当前人工智能学界关注的要点之一。

图2. 会议期间自动化所参会的部分所友相聚

▌见解

下面转入《基于信息理论的机器学习》教学讨论的内容。这是我今年参加其它两个国际会议IJCNN于ICONIP分别给的两个教学讲座（分别是96页与104页内容）。英文题目是“Information Theoretic Learning in Pattern Classification”，中文将“模式分类”改为“机器学习”，主要是考虑到内容上更为强调“学什么”的研究内容。由于教程内容是英文书写，为支持我所《专知》平台发展，我从第二期起陆续提供了中文注释（第一期内容的中文注释主要是由《专知》团队人员完成）。这个教程主题正好契合了当前对理论的关注并给出了我们团队的初步见解。

这个教学讲座希望讲明一个要点：统计学与优化理论主要是“怎么学”层面中的基础理论，它们无法回答“学什么”这样的机器学习中首要问题，而信息论将会扮演重要角色。如果将人类大脑以及神经系统看成连接的网络（如同现有的通信网络），我们就能够理解为什么信息论是不可或缺的基础支撑之一。

信息论准则已经应用在生成式对抗网络（GAN）学习中，它自身的缺陷我们不仅需要知道，更要明白基于信息论的机器学习会为人工智能研究带来新的发展空间。

对这个教学还要声明本人原有研究背景不是机器学习与信息论。十年前进入这个领域后理解其理论的重要性。目前仍在学习之中。特别致谢我们团队的学生在他们学位期间的学术贡献。由于课时限制，若干相关成果没有包括。希望教材读者批判性地学习有关内容。特别鼓励有见解的、包括数学层面的思考。即使读者从事应用为主的研究工作，也应该关注理论发展，否则研究工作不会走远。

最后要告诉有志向的年青学者：理论结果并非只是“高大上”的产物，只要是有心人，也是可以预期获得的。我们团队过去是逐步设定发展目标包括有“力争发展进入教科书中的基础知识”。

本课程中我们发展的新知识（如公式，图等）是基础而简单的，进入未来的教科书不会只是梦想。本人原有理论基础是很薄弱的，但是特别认同《礼记·中庸》之言：“凡事预则立，不预则废”。研究工作不是走哪算哪，要有类似于深度学习三剑客学者们实施的顶层设计,又要能够真正理解“没有什么比一个好的理论更实用了（Vapnik: Nothing is more practical than a good theory）”的含义。回答 “理论在那里？”是需要我们更多的思考与实践。在此以爱因斯坦名言为结语激励我们在理论上前行：“方程式是永恒的（an equation is something for eternity ）”。

胡包钢研究员个人主页：

http://www.escience.cn/people/hubaogang/index.html

胡包钢老师简介：

胡包钢老师是机器学习与模式识别领域的知名学者，1993年在加拿大McMaster大学获哲学博士学位。1997年9月回国前在加拿大MemorialUniversity of Newfoundland, C-CORE研究中心担任高级研究工程师。目前为中国科学院自动化研究所研究员。2000-2005年任中法信息、自动化、应用数学联合实验室(LIAMA)中方主任。

附：基于信息理论的机器学习教程各部分链接如下

４. 基于信息理论的机器学习——中科院自动化所胡包钢老师教程分享04（参见专知）