机器学习技术发展之简析

现在提到机器学习，很多人马上就会想到深度学习。深度学习有两个重要事件2006年，多伦多大学的杰夫·辛顿研究组在《科学》上发表了关于深度学习的文章；2012年，他们参加计算机视觉领域著名的 ImageNet竞赛，使用深度学习模型以超过第二名10个百分点的成绩夺冠，引起了大家的关注。目前深度学习在图像、语音、视频等应用领域都取得了很大成功。

从技术上看，深度学习模型其实就是“很多层”的神经网络。在一个简单的神经网络模型里，每个小圆圈就是一个所谓的“神经元”。从生物机理来说，一个神经元收到很多其他神经元发来的电位信号，信号经过放大到达它这里，如果这个累积信号比它自己的电位高了，那这个神经元就被激活了，可以向外输出信号。这个现象在1943年的时候，就有芝加哥大学的两位学者创立了M-P模型，把它形式化，写出来就是图中那个简单的公式。我们可以看到，其实神经网络在本质上，是一个简单函数通过多层嵌套叠加形成的一个数学模型，背后其实是数学和工程在做支撑。而神经生理学起的作用，可以说是给了一点点启发，但是远远不像现在很多人说的神经网络研究受到神经生理学的“指导”，或者是“模拟脑”。再例如最著名的、今天仍使用最多的神经网络算法—BP，这个算法完全是从数学上推导出来的，它和神经生理学基本上没有联系。

我们再看最有代表性的深度学习模型之卷积神经网络（CNN）。它也是有很多层，只不过在卷积神经网络里面，除了基本操作之外还引入了些操作，比如说信号处理里面的卷积，卷积其实是起到了一定的时空平移不变性；还有采样，把一个区域用一个值代替，这是数据挖掘里对噪声进行平滑的基本技术，也是缩减计算量的基本技术。所以这些都是常见的操作，卷积神经网络把它们融合进去了。特别要注意的是，其实卷积神经网络并不新。第一次完整发表出来是在1995年。1998年，已被用于手写体字符识别。

在进一步探讨之前要说一点，现在有不少媒体常说深度学习是模拟人脑，其实这个说法不太对最早的神经网络受到一点点启发，但完全不能说是模拟脑。现在深度学习的层数很深了，是不是就模拟脑了呢?我在此引用国际深度学习领域最著名的三位学者之一颜·乐昆（Yann LeCun）的话，他说对深度神经网络，“我最不喜欢的描述是‘它像大脑样工作’。我不喜欢人们这样说的原因是，虽然深度学习从生命的生物机理中获得灵感，但它与大脑的实际工作原理差别非常非常大。将它与大脑进行类比给它赋予了一些神奇的光环，这种描述是很危险的，这将导致天花乱坠的宣传，大家在要求些不切实际的事情。”确实如此，如果我们从数学和工程的角度去探讨深度学习模型，可能还可以相对明白一些，而神经机理本身就说不清楚。