若今世还有人值得崇拜,那一定是Jeoffery Hinton。Hinton开启了人工智能(神经网络)的时代,对他的工作我只能说’高山仰止心向往之’。现虽不能至,仍不妨通过他的作品来感受巨人智慧之光的照耀。
今天我们讲一篇Hinton的文章,’Distillating the Knowledge in a Neural Network’. 本文充分体现了Hinton对神经网络运转机制的深刻理解与敏锐的洞察力。目前神经网络的应用基本只局限于实验室和大公司。比如尽管我们对DeepMind的alphaGo倾爱有佳,但由于网络结构复杂计算量巨大,还很难把它搬到你我手机电脑上来娱乐大众。本文distillation学习就着力解决如何将cumbersome model耗巨量资源所学的知识有效转移到小的distilled models,并最终部署到手机等小型用户终端。在研究中Hinton敏锐洞察到模型所学知识的存在形式,他先让distilled model在正常温度下(softmax中T=1)学cumbersome model的常规主流知识,再让distilled model调高温度进而快速学习cumbersome model低概率错误预测所蕴含的宝贵经验。作者将该方法验证于常规MNIST project,Google Android voice search project,和经6个月多核并行训练的JFT图片识别project,均得到非常理想的效果。文中,Hinton通过幼虫成虫的类比告诉我们自然生物的Train和Test phase有着不同的架构和目标函数;他用BMW的错误识别为垃圾车或胡萝卜的例子告诉我们网络知识存在哪里、如何提取;他所提出的specialist model又效法了人脑Fusiform专业处理人脸识别的机制。林林总总给你无限智慧的启迪。读大师的作品如沐春风,期待您能听綦峰讲解,更期待有心的您能亲自拜读大师的每一个文字。
领取专属 10元无门槛券
私享最新 技术干货