深度学习方法的改进

本篇文章是博主在人工智能等领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对人工智能等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。文章分类在学习摘录和笔记专栏： 学习摘录和笔记（9）---《深度学习方法的改进》

深度学习方法的改进

1 深度学习的成功

深度学习的成功来自于以下 3 个要素：

一是数据： 以 AlphaGo 为例 , 其中 AlphaGo-Zero 通过 强化学习自学了亿级的棋局, 而人类在千年的围棋史中 , 下过的有效棋局只不过 3000 万盘。 二是算法： 包括蒙特卡洛树搜索 (Monte-Carlo tree search) , 深度学习和强化学习 (reinforcement learning) 等。 三是算力： 运行 AlphaGo 的机器是由 1920 个 CPU 和 280 个 GPU 组成的分布系统。

早在 2014 年，深度学习的诸多缺陷不断地被发现，预示着这条道路遇到了瓶颈。深度学习为何如此脆弱，容易受攻击，被欺骗和不安全。

基于深度学习的 AI 具有不可解释性和鲁棒性差等缺陷，并针对这两个缺陷展开分析。

2 深度学习的改进分析

2.1 可解释性问题

人类理解机器决策过程的核心难点是跨越数据特征空间和人类语义空间之间的鸿沟。

无论是早期的以手工特征为基础的算法，还是当前以特征学习为代表的深度学习，其核心思想都是将观测样本映射到特征空间中，进而在特征空间进行分析，发现样本在特征空间不同区域内的规律,从而达到算法要实现的任务目标 (如分类、回归等)。

研究主要分为：

（1）模型的后解释技术 (post-hoc explanation)

给定了人工智能的模型，通过可视化、交互技术等方式，分析给定模型的工作机理，为其决策结果寻找解释途径。

（2）可解释模型

通过发展新的网络架构、损失函数、训练方式等，发展具有内在可解释性的新型人工智能模型。

可视分析是人工智能算法可解释的一种直观的思路。既然深度学习是 “黑箱” 学习法, 内部的工 作机理是不透明的, “不可解释”, 如果利用可视化, 打开 “黑箱”, 一切不就清楚了吗?

解释模型的另外一个思路是利用部分统计分析的技巧，针对神经网络决策过程中的参数冗余性，神经网络内部最后决策起到关键作用的子成分进行分析，得到复杂模型内部对决策起到最关键作用的核心部分。

2.2 鲁棒性问题

增强深度学习模型自身的安全性，发展相应的深度学习防御算法，降低恶意攻击带来的潜在威胁。

-------鲁棒性是指某个系统或者算法对于随机噪声、异常情况和攻击等意外干扰的抗干扰能力。简单来说，鲁棒性是指系统或者算法在面对各种可能出现的变化时仍能保持正常的运行状态和正确的输出结果。

深度学习防御算法主要的两类思路：

A.基于样本/模型输入控制的对抗防御

这类方法的核心是在模型的训练或者使用阶段， 通过 对训练样本的去噪、增广、对抗检测等方法， 降低对抗攻击造成的危害。

提出：基于高层表示引导的去噪器 (HGD)

B.基于模型增强的对抗防御

这类方法的核心是通过修改网络的结构、模型的激活函数、损 失函数等， 训练更加鲁棒的深度学习模型， 从而提高对对抗攻击的防御能力。

提出：自适应多样性增强训练方法 (adaptive diversity promoting training，ADP)

3 贝叶斯深度学习

将贝叶斯学习的基本原理与深度神经网络的表示学习有机融合。将不确定性建模和推断与深度表示学习有机融合， 其关键挑战在于推断和学习算法.

参考：张钹, 朱军, 苏航《迈向第三代人工智能》

文章若有不当和不正确之处，还望理解与指出。由于部分文字、图片等来源于互联网，无法核实真实出处，如涉及相关争议，请联系博主删除。如有错误、疑问和侵权，欢迎评论留言联系作者