Nvidia训练神经网络 改变芯片业务

芯片巨头公司Nvidia应用机器学习研究负责人Bryan Catanzaro向ZDNet讲述了整个图形渲染过程如何变为由网络模型驱动的模式，以及它如何改变公司的芯片设计。

Bryan Catanzaro

Nvidia应用机器学习负责人Bryan Catanzaro

如果世界上更多的计算机任务被移交给神经网络，会发生什么？

Nvidia是一家销售大量芯片来训练神经网络的公司，当然，这对于Nvidia来说是一个有趣的前景。

这一前景鼓舞了Nvidia应用深度学习研究负责人Bryan Catanzaro。

“我们希望这种模型更像是一个工作流，”Catanzaro本周在蒙特利尔的NeurIPS机器学习会议上，在Nvidia展台接受ZDNet的采访时说道。在2011年获得了加州大学伯克利分校电气工程和计算机科学博士学位后，Catanzaro在Nvidia任职，并是Nvidia从事神经网络工作的第一人。

模拟

驾驶

在NeurIPS大会上，一名用户在模拟街景中“驾驶”

“模型化”是使用神经网络替换显式编程的简略方式，用于推断解决计算问题的方法。Nvidia的展位上有相关转变的例子，对计算有广泛的影响。

一个例子是本周在大会上发表的名为《从视频到视频合成》的论文，这篇论文由他自己和同事以及麻省理工学院计算机科学和AI实验室的研究人员撰写。该作品旨在通过“预测视频序列的未来帧”来合成街景视频。

从传统上来说，这些任务是通过手动编程的，而且实现“渲染”很费力。Catanzaro说：“当今在视频方面的花费会高达一百万美元”。

相反，新方法拍摄了街景的视频，并将一些帧提供给GAN（生成对抗网络），然后GAN会预测视频帧。它建立在以前的工作基础之上，即根据一些样本合成了的事物图像。

重要的是，GAN提供了渲染的方式，取代了传统方法中费力的物理手段。

Nvidia采用了视频游戏风格的模拟方法，并取得了一些有趣的结果。在NeurIPS的Nvidia展台，设立了一个街机式驾驶员座椅，游客可以在模拟的街道场景中“驾驶”。在这种情况下，街道场景显示了现有技术的一些局限性。它看起来并没有像照片般逼真，而是有水彩画的感觉，建筑物和汽车的颜色和纹理随着人们驾驶模拟而变化。

Catanzaro说，这些开发的技术反映了在驾驶模拟的情况下训练GAN的“虚幻引擎4”3D系统之间的问题。“当虚幻引擎为我们提供渲染环境时，它并不会完全渲染，只会创建一个草图，这个草图看起来太精确了，一切都很完美。”

“但真实视频中的线条和草图实际上更好。我们需要渲染的视频看起来更真实。”

Catanzaro表示这听起来更像是一种辩证过程，其中源3D渲染和生成的渲染以某种方式使彼此更加完美。“我们喜欢将其看做是自我提升的方法。”Catanzaro说道。

所有这些都对Nvidia的芯片业务产生了影响（Catanzaro的老板是Nvidia的GPU架构负责人Jonah Alben）。

具体而言，在视频渲染中替换手动编码表明基于模型的方法将需要越来越多专门的神经网络电路。

“AI中的计算比传统的渲染任务更适合半导体物理学，”Catanzaro说道，并将“着色器”单元的传统GPU任务与用于许多神经网络应用的乘法累加器任务进行比较。

“MAC（累乘累加运算）受计算限制而不受通信限制，”他解释道。因此，“晶体管和导线变得越来越小，但是导线不会像晶体管那样快速变小”，这意味着传统的渲染途径会因为将数据迁移到导线而受到影响。

Catanzaro认为这一问题并无大碍的原因在于Nvidia的芯片的纹理一直在变化。Nvidia的主要芯片架构Turing和Volta都具有张量内核，可以直接在构成神经网络的MAC的张量结构上运行。

甚至，这种张量能力正在从GPU的传统着色器电路中接管硅片上的的晶体管空间。

“张量内核更适合半导体制造技术的未来，”Catanzaro说：“它们更节能，我相信它们将比传统GPU能够更好地扩展。”

他指出，基于Turing的设备在其传统的着色器单元中每秒可以产生16万亿次浮点运算，但张量核心以每秒230万亿次的速度大幅超越。

当然还有一大批初创公司（包括位于英国布里斯托尔的Graphcore）打算从Nvidia开展业务，认为现在的芯片不太适合AI。

但是，Nvidia芯片中张量核心的扩散意味着：“相比于他们的声明，我们更赞同他们的公司。”卡坦扎罗笑着说道。

他建议，Nvidia正在通过这类竞争收尾。“谈论这些收缩阵列是件好事，”他说：“但我们多年来一直在硅片上发布这种产品。”

原文作者：Tiernan Ray