AI瓶颈将至：日益飙升的巨大计算量，与巨额功耗成本该如何权衡？

一篇新论文认为，深度学习的计算需求如此巨大，以至于翻译和自动驾驶等任务的进展可能会放缓。

去年年初，欧洲一家大型连锁超市使用了人工智能(AI)来预测顾客每天在不同商店会购买什么，以帮助保持货架上的库存，同时减少成本高昂的商品变质。

该公司已经使用采购数据和简单的统计方法来预测销售额。借助近年来帮助人工智能取得惊人进步的——深度学习技术，以及包括当地天气、交通状况和竞争对手行为在内的额外数据，该公司将错误数量减少了四分之三。

这正是人们期待人工智能带来的那种高影响力、节约成本的效果。但有，目前还有一个巨大的问题：新算法需要巨大的计算量，以至于许多公司选择不使用它。

麻省理工学院的研究科学家尼尔·汤普森（Neil Thompson）说："他们当时的想法是，除非云计算成本降低，或者算法变得更高效，否则我们不值得大规模推广它。"他正在为该项目整理一个案例研究。（但他拒绝透露涉及公司的名字。）

汤普森表示，这个故事凸显了人工智能（AI）及其用户面临的一个迫在眉睫的问题。近几年来，我们的进步既迅速又令人眼花缭乱，给我们带来了智能的项目处理方法、贴心的个人助理，以及能在繁忙的道路上自行导航的汽车。但是，这种进步取决于投入更多的计算资源来解决这些问题。

在最新的一篇研究论文中，汤普森和他的同事们认为，要想继续这些进步，以同样的速度增加计算能力是不可能的，或者说很快就会不可能。这可能会危及计算机视觉、翻译和语言理解等领域的进一步进展。

在过去的十年里，人工智能对计算的"胃口"显著增加。2012年，在深度学习热潮刚刚开始时，多伦多大学的一个团队利用两个GPU（一种专门的计算机芯片）在五天内创造了一种突破性的图像识别算法。快进到2019年，谷歌和卡内基梅隆大学的研究人员花了6天时间和大约1000个特殊芯片（每个芯片的功能比早期的GPU强大很多倍），开发出了一种更现代的图像识别算法。谷歌的一个团队去年开发的一种翻译算法，大约需要约1.2万个专用芯片运行一周的时间。据一些人估计，通过云端租用这么多的计算机能力，成本高达300万美元。

"深度神经网络的计算成本非常昂贵，这是一个关键问题。"麻省理工学院的助理教授韩松（Song Han）说，他专门研究开发更有效的深度学习形式，但他不是汤普森（Thompson）论文的作者。

韩松的团队已经利用新型神经网络架构和专门的芯片架构，创造了更高效的流行AI算法版本。但他表示，要让深度学习减少对计算的依赖，"还有很长的路要走"。

其他研究人员也注意到了不断飙升的计算需求。Facebook人工智能研究实验室负责人杰罗姆·佩森蒂（Jerome Pesenti）去年在科技期刊中写道，人工智能研究人员已经开始感受到这种计算量紧缩危机的影响。

汤普森认为，如果没有更智能、更具突破性的新算法，深度学习的局限性可能会减缓多个领域的进步，影响计算机取代人类任务的速度。"工作自动化的进程可能会比预期的更为缓慢，因为达到人类水平的性能将比预期昂贵得多。"他表示："从就业的角度来看，自动化速度放缓可能听起来不错。"但这也将会减缓生产力的提高，而生产力是提高生活水平的关键。

"深度神经网络在计算成本上非常昂贵。这是一个关键问题。" ——韩松，麻省理工学院

在他们的研究中，汤普森（Thompson）和他的合著者查看了1000多篇概述新算法的人工智能研究论文。并非所有的论文都详细说明了计算要求，但已经有足够的论文详细说明了进步的代价。历史表明，以同样的方式取得进一步的进步将几乎是完全不可能的。

例如，提高英语到法语的机器翻译算法的性能，使其错误率仅为10%，而不是目前50%的错误率，这就需要计算能力的显著性提升——如果单靠更多的计算能力，这将是数10亿倍。这篇论文将在未来几天内发布到arXiv，一个预印本服务器上。它还没有经过同行评审或在期刊上发表。

"我们已经碰到了这堵墙，"汤普森表示，在最近的一些讨论和论文中，从事特别大型和前沿人工智能项目的研究人员已经开始抱怨，他们无法测试多个算法设计，或者重新运行一个实验，因为成本太高了

可以肯定的是，人工智能接近某种极限的想法可能会被更强大的芯片和更高效的软件所颠覆。尽管面临原子级制造面临诸多挑战，但源于芯片元件小型化的进步仍在继续。与此同时，专门的新型AI芯片可以更高效地运行深度学习计算。

但汤普森表示，硬件的改进不太可能抵消自动驾驶汽车和实时语音翻译等领域的前沿进展所需的计算量的惊人增长。"算法有了实质性的改进，当然硬件也有了很多改进。但是，尽管如此，计算能力还是出现了这种巨大的提升。"

这种人工智能计算量的巨大提升也是以环境为代价的，尽管在实践中，如果没有项目的细节和计算机的效率，可能很难衡量一个项目产生的排放量。最近的一项研究表明，由于效率的提高，数据中心的能源消耗在过去十年中增长不大。

蒙特利尔大学研究人工智能对环境影响的博士后研究员萨沙·卢西奥尼(Sasha Luccioni)同意该领域正在使用更多的计算机算力和功率，并表示研究人员可以采取措施减少对大量计算的需求。她说，重要的是要仔细选择云基础设施和芯片硬件，考虑一个算法的效率，并披露项目涉及的计算和排放。

艾伦人工智能研究所（Allen Institute for Artificial Intelligence）首席执行官奥伦·埃齐奥尼（Oren Etzioni）此前曾呼吁，采用对环境危害较小的人工智能形式。他认为："计算能力是人工智能近期成功的重要因素。但是，我们在不断提高效率方面不断突破极限，这能大大降低计算量飙升所产生的环境副作用。"

最终，汤普森希望改进的深度学习方法不会仅仅消耗更少的计算能力。他表示："找到这些新技术并不容易，但是如果我们真的找到一些广泛适用的技术，它可能会产生另一波应用。"

撰写：GolevkaTech

重要声明：此处所发表的图文和视频均为作者的原创稿件，版权归原创作者所拥有。所刊发的图片和视频作品，除特别标注外，均视为图文作者和被拍摄者默认此版权之归属权。