人和深度神经网络到底有什么区别？

人和深度神经网络到底有什么区别？

曾经在知乎上看到一句话，叫做 “人如果没有梦想，和深度神经网络有什么区别？”。 我非常喜欢，甚至用来做了一段时间的签名。

但那时我还年轻，现在的体会又有所不同。

神经网络的强悍之处，最近体会颇深。这几年神经网络在各项任务上都始接近甚至超过human-level performance。当然，我丝毫不担心在肉眼可见的未来会有什么AI统治世界的可能性。但不妨碍我极其欣赏神经网络的各种模型结构 ，并觉得在肉眼可见的未来里，deep learning会在各项任务上达到甚至超过人的层次。

那么，如果没有梦想，你和神经网络有什么区别？

那么区别就在于，神经网络也可以有梦想。

最近在读cosine annealing learning rate，这是在《SGDR: Stochastic Gradient Descent with Warm Restart》一文中提出的新learning rate design，而曾经的风气是learning rate decay。这两者的区别就在于，cosine annealing会每隔一段时间就把learning rate提高，让weights能够走出local optimum。因为当模型运行了一定数量的epoch之后，可能会找到一个很好的local optimum，但这大概率不是global optimum。所以重制的learning rate会让weights 从这一个convergence中走出来，开始试图去寻找更好的optimum。在这个过程中，loss会提高，accuracy会下降，convergence会不复存在，而且甚至并不一定能找到真正的global optimum。

听起来和人的走出舒适区何其相似？

我们也是，有了一定程度的经历，成长到了25岁左右的年纪，各方面都达到了相对稳定。可能结婚了，可能有一个处了很久的另一半，也可能习惯了单身；可能跟上了工作的节奏，熟悉了老板的脾气，拥有了做好工作的skill set；有几个稳定而又密切的朋友，隔一段时间会一起聚会；父母可能身体有些小毛病但总体而言无病无灾，自己有点收入一人吃饱全家不饿。这大概就是你的local optimum了。

首先，要恭喜的是，你很优秀。我觉得能在这个年纪，达到一个converge了的状态是很难得的。可能你有一个很好的initializer，出生环境优越，家教良好；可能你有一个很好的optimizer，让你在成长的过程中有很好的方向感；可能你有很好的architecture，于是在很短的epoch内能很好的消化很多的东西使得人生臻于小圆满。

那么如果你觉得这样很好，于是失去了梦想，那我就要再次介绍cosine annealing了。

因为世界亘古如此，但你是会变老的，你的周围也是会变老的，所以舒适区会慢慢消失，这是一；慢慢的总有别人会找到更好的optimum，那是他们的成长，也是你的落差，这是二；你不追求global optimum的话，你还不如深度神经网络呢，这是三。

所以人生至少得有梦想，因为深度神经网络也有一个寻找global optimum的梦想。

那么如果有了梦想，人和深度神经网络到底又有什么区别？

区别在于，人是有感情的。

深度神经网络的优化，是一个机械的过程。有一个目标的loss function， 有一个one number evaluation metric。剩下的无非就是优化，更新参数，再优化，再更新参数，期待着有一天能收敛于global optimum。

但人是不一样的。在尝试的过程中，在漫长的training 经历中，尤其是当我开始使用cosine annealing后，我会因training loss的下降而开心，会因testing error的上升而烦躁，在参数停留在saddle point的时候会苦恼，在模型converge时会满足。机器是不会有这种体会的，但人是会有的。

那么你多久没有这种体会了呢？换言之，你在local optimum里呆了多久了？

cosine annealing刚开始会很痛苦。因为一切都和原来不一样了。可能短暂的失去了一些东西，可能周围对你的态度会有所不同，可能每天都需要额外的动力和支持才能让你坚持着做走出舒适区的事情，而且还可能你付出了也并不会有收获。于是可能你会苦恼，会懊悔为何当初为何要走出舒适区。

其实这些就是收获了。你所感受到的一切，呆在local optimum里的人都感受不到。这个寻找global optimum的过程，就是你人生的意义了。而且虽然努力了不一定有收获，但收获的概率会变大呀。都是学统计的人，概率要信的，只要你认为自己能活很久，对吧。

那么，人和深度神经网络其实还有一个区别。

我可以赋予深度神经网络cosine annealing的learning rate design。但我不能赋予你梦想。我无法改变你，只有你能决定是呆着，还是走一走看看。

人是很少变化的，大家都是靠惯性活着，都是上一个状态的延续。只有你能决定，下一秒的你是不是有所不同。

我只能期待周围有更多的人，会变得有所不同。

这是人生的神经网络哲学。新年对自己的小training，希望自己今年有所不同。