下篇：BRAVE组系列研究进展之“智能体之间的知识迁移”

今日聚焦

紫冬君已推出BRAVE组系列研究进展之上篇“视听模态的融合”、中篇“视听模态的生成”。今日聚焦下篇“智能体之间的知识迁移”。在“智能体之间的知识迁移”问题中，该团队的重大贡献，是将一种新类型的知识——交叉样本相似性引入到深度度量学习中，将知识形式化成一个教师和学生网络间的排序匹配问题，将经典的基于列的学习转换成排序学习算法，这一方法可极大地提高学生网络的性能，也可得到相对传统方法更好的迁移性能。

下篇：智能体之间的知识迁移

度量学习是许多计算机视觉任务的基础，包括人脸验证，行人再识别等。在最近几年，基于度量损失函数指导的端到端深度度量学习取得了很大的成功。这些深度度量学习成功的关键因素是网络结构的强大。然而，随着所需表征特征的增强，网络结构变的更深更宽从而带来了严重的计算负担。在现实世界的许多应用如无人驾驶上，由于硬件资源的限制，使用这些网络会导致系统产生严重的延时。为保证安全性，这些系统需要实时的响应。因此，我们很难将最新的网络结构设计应用到我们的系统中。

为缓解该问题，研究者们提出了许多模型加速的方法，可简单分为三类：网络剪枝，模型量化和知识迁移。网络剪枝迭代地删除对最后决策不太重要的神经元或权值。模型量化通过降低网络中权值和激活函数的表达准确性来增加了网络的吞吐量。知识迁移使用一个更大更强的老师网络去指导一个小的学生网络的学习过程。在这些方法中，基于知识迁移的方法是最具实际价值的。跟其他需要定制硬件或者实现细节的方法相比，知识迁移在没有额外开销的情况下也可得到相当的模型加速性能。

知识蒸馏和它的变体是知识迁移领域的核心方法。尽管它们所使用的知识形式不同，但都只针对于单个样本。也就是说，这些方法中的教师网络不管在分类层还是中间特征层都只为每个样本提供监督信息。所有这些方法均忽略了另外一种有价值的度量——不同样本之间的关系。这类知识同样编码了教师网络中所嵌入的空间结构。同时，该种知识所使用的实例水平的监督信息符合度量学习的目标。下图展示了我们的动机。右上角展示了知识迁移后学生网络可以更好的捕捉图像相似性。数字0与6的相似性比数字3,4,5与6的相似性更大，因此等级更高。

综上，我们的论文有以下几个贡献：

a. 我们将一种新类型的知识——交叉样本相似性引入到深度度量学习中。

b. 我们将知识形式化成一个教师和学生网络间的排序匹配问题，将经典的基于列的学习转换成排序学习算法并致力于解决它。

c. 在不同度量学习任务上测试我们的方法，可极大地提高学生网络的性能。另外，跟目前的方法融合，我们的方法可得到更好的迁移性能。

上述三个工作均受到了国家自然基金项目以及微软合作研究项目的支持。

收录成果集锦

上篇：视听模态的融合(前日聚焦)

Wangli Hao,Zhaoxiang Zhang*, He Guan, Integrating both Visual and Audio Cues for Enhanced Video Caption, The Thirty-Second AAAI Conference on Artificial Intelligence, AAAI 2018, USA, February 2-7, 2018

中篇：视听模态的生成 (昨日聚焦)

Wangli Hao,Zhaoxiang Zhang*, He Guan, CMCGAN: A Uniform Framework for Cross-Modal Visual-Audio Mutual Generation, The Thirty-Second AAAI Conference on Artificial Intelligence, AAAI 2018, USA, February 2-7, 2018

下篇：智能体之间的知识迁移(今日聚焦)

Yuntao Chen, Naiyan Wang,Zhaoxiang Zhang*, DarkRank: Accelerating Deep Metric Learning via Cross Sample Similarities Transfer; The Thirty-Second AAAI Conference on Artificial Intelligence, AAAI 2018, USA, February 2-7, 2018

BRAVE研究组

中国科学院类脑智能研究中心“类脑信息处理研究组”（Bio-inspired-intelligence Research for Artificial Vision and lEarning），又叫BRAVE研究组，由张兆翔研究员带领，瞄准学科前沿，致力于融合智能科学、脑与认知科学的多学科优势，研究创新性的认知脑模型，实现类脑信息处理相关领域理论、方法与应用的突破。

BRAVE团队在借鉴生物神经结构、认知机制与学习特性的神经网络建模与类人学习方向开展了系统性研究，取得了一系列突破性进展。近期，该团队又取得了重大突破，已有3篇论文被2018年国际人工智能年会AAAI录用。AAAI是人工智能领域的顶级会议，即将于2018年2月在美国召开第18届会议。本届会议共收到3800多篇稿件，最终录用933篇，录用率不到25%。张兆翔团队此次被录用的3篇文章中，2篇文章被选为Oral，1篇文章被选为Spotlight poster，展现了该团队的研究实力。