基于光的机器学习系统可以产生更强大、更高效的大型语言模型

与目前的系统相比，麻省理工学院的新系统在能源效率方面提高了100倍以上，在计算密度方面提高了25倍。

ChatGPT凭借其根据用户的几个提示撰写文章、电子邮件和计算机代码的能力，登上了世界各地的头条新闻。现在，麻省理工学院领导的一个团队报告了一个新的系统，该系统可能会导致机器学习程序比 ChatGPT 背后的程序强大几个数量级。与当今机器学习模型背后的最先进的超级计算机相比，他们开发的系统使用的能量也可以减少几个数量级。

在7月17日出版的《自然光子学》杂志上，研究人员报告了新系统的首次实验演示，该系统使用数百微米级的激光器，根据光的运动而不是电子的运动来进行计算。该团队报告称，与最先进的机器学习数字计算机相比，使用新系统，能效提高了100多倍，计算密度（衡量系统功率的指标）提高了25倍。

走向未来

在研究论文中，该团队还引用了“未来改进的数量级将大大增加”。因此，研究人员指出，这项技术“为大规模光电处理器打开了一条途径，可以加速从数据中心到去中心化边缘设备的机器学习任务。”换句话说，手机和其他小型设备将能够运行目前只能在大型数据中心计算的程序。

此外，由于该系统的组件可以使用当前的制造工艺来创建，南加州大学的助理教授、该研究第一作者陈在军（音译）博士表示：“我们预计，它可以在几年内扩展到商业用途。例如，所涉及的激光阵列广泛应用于手机面部识别和数据通信。”（他在麻省理工学院电子研究实验室做博士后时进行了这项工作）

麻省理工学院电子工程与计算机科学系副教授、该项目负责人德克·恩格伦德（Dirk Englund）表示：“ChatGPT的规模受到当今超级计算机能力的限制。训练更大的模型在经济上是不可行的。我们的新技术可以让我们跨越到机器学习模型，否则在不久的将来是无法实现的。”

他继续说道：“如果下一代ChatGPT的功能比现在强大100倍，我们不知道它会有什么功能，但这就是这种技术所能允许的发现机制。”德克·恩格伦德也是麻省理工学院量子光子学实验室的负责人，并隶属于RLE和材料研究实验室。

进步的鼓点

目前的工作是恩格伦德和许多相同的同事在过去几年里取得的进展中的最新成就。例如，2019年，英格兰的一个团队就报告了导致目前演示的理论工作。这篇论文的第一作者瑞安·哈姆利（Ryan Hamerly）现在供职于RLE和NTT Research Inc.，也是这篇论文的作者之一。

像ChatGPT背后的深度神经网络（DNN），是基于模拟大脑如何处理信息的巨大机器学习模型。然而，即使在机器学习领域不断发展的情况下，今天DNN背后的数字技术也达到了极限。此外，它们需要大量的能源，并且在很大程度上局限于大型数据中心。这推动了新计算范式的发展。

使用光而不是电子，来运行DNN计算有可能会突破当前的瓶颈。例如，使用光学的计算比基于电子的计算消耗更少的能量。此外，使用光学，你可以有更大的带宽，或计算密度。光可以在更小的区域传递更多的信息。

但是，当前的光学神经网络（ONN）也面临着巨大的挑战。例如，它们使用大量的能量，因为它们在将基于电能的输入数据转换为光方面效率低下。此外，所涉及的组件体积庞大并且占用大量空间。虽然 ONN 非常擅长加法等线性计算，但它们不擅长乘法和“if”语句等非线性计算。

在目前的工作中，研究人员引入了一种紧凑的架构，首次解决了所有这些挑战，并同时解决了另外两个挑战。该架构基于最先进的垂直表面发射激光器（VCSEL）阵列，这是一种相对较新的技术，用于激光雷达遥感和激光打印等应用。《自然光子学》论文中报道的这种特殊的VCELs是由柏林工业大学的 Reitzenstein 小组开发的，这是一个合作项目，没有他们是不可能的。

耶鲁大学助理教授洛根·赖特（Logan Wright）没有参与目前的研究，他评论说：“陈在军等人的工作是鼓舞人心的，鼓励我和可能在这个领域的许多其他研究人员，基于调制的VCSEL阵列的系统可能是实现大规模、高速光学神经网络的可行途径。当然，目前的技术水平还远远达不到实用设备所需的规模和成本，但我对未来几年可以实现的目标持乐观态度，特别是考虑到这些系统有可能加速非常大规模、非常昂贵的人工智能系统，比如ChatGPT等流行文本‘GPT’系统中使用的人工智能系统。”

研究团队已经为这项工作申请了专利，这项工作由美国陆军研究办公室、NTT研究中心、美国国防科学与工程研究生奖学金计划、美国国家科学基金会、加拿大自然科学与工程研究委员会和大众汽车基金会赞助。

如果朋友们喜欢，敬请关注“知新了了”！