中国电子信息工程科技发展研究：深度学习的全球发展态势

2017 年，AlphaGo 升级到AlphaGo Zero，完全抛弃了人类棋谱，采用“从零开始”“无师自通”的学习模式，经过3 天自我对弈训练以100∶0 的比分轻而易举打败了AlphaGo。AlphaGo 和AlphaGo Zero 的成功，攻克了人类棋类智力游戏中较复杂、变化较多的围棋，展示了深度学习和强化学习等技术结合产生的巨大威力，也使深度学习更为社会公众所熟知。

深度学习在最近的十几年是人工智能最热门的研究领域之一，取得了很多重要的突破性进展，影响到人工智能行业整体的发展基础。

中国工程院信息与电子学部最新发布的《中国电子信息工程科技发展研究》是电子信息领域蓝皮书系列。今年的蓝皮书延续上一年度成书模式，重点展现电子信息工程科技领域2018~2019年度增量，增加编写了集成电路、深度学习、工业互联网、下一代互联网IPv6等专题。本文分享“深度学习专题”——

全球发展态势

1

深度学习应用覆盖更广泛，市场增速加快

深度学习除了在已经广泛应用的领域不断深化完善，也在持续拓展新的应用领域，推动各个行业的智能化。根据2018 年11 月的Tractica 报告，在过去的18 个月中，得益于硬件和算法的进步，深度学习的强大能力逐渐显现。这种进步体现在连续学习过程中使用模式识别的算法，使它们能够自主训练执行任务，而不需要显式编程代码。

当今一些较成功的深度学习应用集中在图像识别、文本分析、产品推荐、欺诈预防和内容管理等领域的增量和实际改进上。深度学习可能会带来未来更强大、更具颠覆性的应用发展，如无人驾驶汽车、个性化教育和预防性医疗保健。Tractica 预测，随着应用的不断拓展，全球深度学习软件市场将从2017 年的30 亿美元增长到2025 年的672 亿美元，如图1.7 所示。深度学习的市场机会跨越了广泛的行业和地理区域，尤其是在具有海量数据需求和实体的特定领域市场，以及那些使用视觉和语言处理技术的机器感知应用不断增长的市场，这种机会具有特别大的颠覆性。

图1.7 基于区域的深度学习软件营收预测

2

深度学习技术研究持续深入

深度学习除了在应用领域的快速扩张，一些基础技术研究依然保持着很高的热度。主要可以分成以下几个方向：深度学习的基础理论研究；深度学习和其他方法的结合扩展；深度学习一些优势的深耕和发扬光大；深度学习当前一些局限性的解决。当然这几个方面也是相互影响，相互交织的。

深度学习的理论性研究侧重给出对深度学习有效性更好的解释，对深度学习的泛化能力更好的证明，以及如何更快收敛更好地学习等。

在和其他方法结合方面，一方面最成功的当属深度强化学习，从静态监督学习扩展到动态交互时序学习，这在AlphaGo 上已经得到了验证。但是对于深度强化学习是否就是最接近人工智能的解决方案还是存疑的。另一方面是在一些非游戏类的实际应用中，深度强化学习发挥好的效果往往需要针对性的设计和实验。除此之外，也有很多关于神经和符号相结合的探索、数学模型和认知心理学方法相结合的探索。

在深度学习的优势深耕方面，预训练模型与迁移学习比较有代表性。深度学习下的特征表示学习特性，可以构造出可扩展、可迁移的强大的预训练模型。例如，自然语言处理领域最近出现的Bert 模型就是一个代表，通过大规模无标注语料训练出的基础表示模型，可以大大降低具体任务下对标注数据的依赖量并显著提升效果。

在解决深度学习当前的一些局限性方面则有更多的探索。这包括针对深度学习下网络设计需要较大成本问题而出现的自动化深度学习技术，可以自动进行网络结构设计和超参数寻优，使深度学习更加自动化。针对深度学习在监督学习任务上表现更优异的问题，更多考虑半监督、无监督任务下的深度学习，包括近期持续火爆的对抗学习网络，将生成模型和判别模型一起学习，大大提升了深度学习的生成效果。针对传统深度神经网络更多适用于无结构数据的问题提出图神经网络，使得深度学习可以作用于图结构上，非常适用于知识图谱等场景，为深度学习的推理能力、可解释性提升提供了新思路。

3

边缘计算将给深度学习和芯片带来更多市场

如今，人工智能的计算大多在基于云端的数据中心完成，而这些计算的主要内容是对深度学习模型的训练，这需要大量的计算能力。在过去的6 年中，计算需求方面经历了30 万倍的增长，GPU 提供了强大的算力支持。根据Tractica 的最新报告，随着人工智能应用多样性的增长，越来越多的深度学习计算将在边缘设备中进行，而不是在一个集中的、基于云的环境中进行。根据Tractica 预测，到2025 年，全球人工智能边缘设备的出货量将从2018 年的1.614 亿台增加到26 亿台，如图1.8 所示。Tractica 的分析表明，依据设备类别，主要的AI 边缘设备为：手机、智能音箱、个人电脑设备、头戴式显示器、汽车、无人机、消费者和企业级机器人、监控摄像头等。

图1.8 全球边缘计算设备出货量预测

在评估云与边缘计算时，需要考虑隐私、安全、成本、延迟和带宽等。根据人工智能应用程序和设备类别，可用于执行人工智能边缘计算的芯片包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、系统芯片(System on Chip，SoC)等。

4

深度学习芯片迎来高速发展的阶段

目前，GPU和CPU 在市场上处于领先地位，但FPGA、ASIC、SoC 加速器和其他新兴芯片组的影响正在不断扩大。虽然解决深度学习训练和推断工作量的芯片组市场仍然是一个新兴市场，但形势正在迅速变化——在过去的一年中，超过60 家各种规模的公司宣布了某种深度学习芯片组或知识产权(IP)设计，之后将开始市场验证。Tractica 预计，如图1.9 所示，2019 年和2020 年将是深度学习芯片组数量增长的关键时期，届时将出现赢家。

图1.9 全球深度学习芯片收入预测

一份来自Tractica 的最新报告显示，几乎每一家高科技巨头公司都认为人工智能算法硬件加速非常有必要性。Tractica 预测，到2025 年，深度学习芯片组的市场将从2017年的16 亿美元增加到663 亿美元。系统芯片(SoC)加速器(如移动设备中的加速器)将在预测期结束时在绝对数量上领先市场，随后是专用集成电路(ASIC)和图形处理单元(GPU)。就收入而言，到2025 年，ASIC 市场将是最大的，其次是GPU 和中央处理器(CPU)。在边缘计算市场，即在设备上进行人工智能计算的市场，预计将占总市场机会的四分之三以上，其余在云或者数据中心。手机将是边缘计算市场的主要驱动力，其他突出的边缘类别包括汽车、智能相机、机器人和无人机等。

END

本文摘编自《中国电子信息工程科技发展研究．深度学习专题》（中国信息与电子工程科技发展战略研究中心著．北京：科学出版社，2019.5）一书，有删减，标题为编者所加。

ISBN 978-7-03-061298-4

责任编辑：赵艳春

本书主要介绍了全球深度学习技术和产业发展现状及趋势，以及人才情况；阐述了我国的深度学习发展现状，包括基础理论、底层技术、应用技术和产业应用情况；重点介绍了我国深度学习相关的热点和亮点，包括AI 芯片、深度学习框架、自动化深度学习建模、深度学习模型和行业应用等。同时对深度学习行业的发展和现状做了系统的总结，并阐述了下一步的趋势和影响。本书适合人工智能、计算机、网络通信、微电子等方面的本科生、研究生，以及相关专业的教师、产业工程科技人员阅读。

中国电子信息工程科技发展研究

中国工程院是国家工程科技界最高荣誉性、咨询性学术机构，把握世界科技发展大势，围绕事关科技创新发展的全局和长远问题，为国家决策提供科学的、前瞻的和及时的建议。履行好国家高端智库职能，是中国工程院的一项重要任务。为此，中国工程院信息与电子学部在陈左宁副院长、卢锡城主任和学部常委会的指导下，第一阶段(2015年年底至2018年6月)由邬江兴、吴曼青两位院士负责，第二阶段(2018年9月至今)由余少华、陆军两位院士负责，组织学部院士，动员各方面专家300余人，参与《中国电子信息工程科技发展研究》综合篇和专题篇(以下简称“蓝皮书”)编撰工作。编撰“蓝皮书”旨在分析研究电子信息领域年度科技发展情况，综合阐述国内外年度电子信息领域重要突破及标志性成果，为我国科技人员准确把握电子信息领域发展趋势提供参考，为我国制定电子信息科技发展战略提供支撑。今年的蓝皮书重点展现电子信息工程科技领域2018~2019年度增量，增加编写了集成电路、深度学习、工业互联网、下一代互联网IPv6等小册子。

中国电子信息工程科技发展研究专题

（本文编辑：刘四旦）

一起阅读科学!

科学出版社│微信ID：sciencepress-cspm

专业品质 学术价值

原创好读 科学品味

传播科学，欢迎分享“在看”