MIT最新研究——可以适应不断变化的条件的“液体”机器学习

编辑/大路

近年来，尽管「神经网络算法」在多次迭代中已经取得了许多重大改进，但通过适应「实时输入」来提取有意义的信息，仍然是一项具有挑战性的任务。为了解决这个问题，麻省理工学院的研究人员提出了一个推动人工智能发展的新方案——可以在工作中学习的「液体神经网络」。

这种新的神经网络，可以边工作边学习，而不仅仅是在初期的训练阶段。这种灵活算法被称为 「液体 」网络，因为它们会自动改变自己的底层方程，以不断适应新的数据输入。

而这一进展可以帮助那些「随时间而变化的数据流」进行决策，包括实时控制机器人，远程医疗诊断和自动驾驶。

我们当前使用的神经网络算法，在「训练阶段」会被提供大量的相关「目标数据」，以训练其推理能力，并对正确的反应进行「奖励」，来优化性能。这意味着，在训练阶段之后，神经网络的行为就被 「固定 」了。因此，它们往往无法适应「输入数据流」的变化和调整。

而液体神经网络则不同。

「这是未来『机器人控制、自然语言处理、视频处理』——任何形式的『时间序列数据』处理的前进方向，」该研究的主要作者Ramin Hasani说，「潜力真的很重要。」

该研究将在今年2月份的AAAI人工智能会议上发表。除了麻省理工学院计算机科学与人工智能实验室（CSAIL）的博士后Hasani之外，麻省理工学院的共同作者还包括CSAIL主任、Andrew and Erna Viterbi电气工程和计算机科学教授Daniela Rus和博士生Alexander Amini。其他合著者包括奥地利科学技术研究所的Mathias Lechner和维也纳理工大学的Radu Grosu。

Hasani认为，「时间序列数据」是无处不在的，并且对我们理解世界也至关重要。（时间序列数据是指在不同时间上收集到的数据，用于所描述现象随时间变化的情况，这类数据反映了某一事物、现象等随时间的变化状态或程度。）

「现实世界就是关于序列的，甚至我们的感知——你不是在感知图像，而是在感知图像的序列，」他说，「所以，『时间序列数据』实际上创造了我们的现实。」

他还指出，视频处理、金融数据和医疗诊断应用也表现了「时间序列」对社会的核心作用。这些不断变化的数据流可能是不可预知的。然而，实时分析这些数据、并利用它们来预测未来的行为，却可以促进自动驾驶等新兴技术的发展。所以，Hasani建立了一个适合这类任务的算法。

Hasani设计的这种神经网络可以适应现实世界系统的「可变性」

神经网络是一种通过分析一组 「训练实例」来识别模式的算法。它们经常被说成是在模仿大脑的处理路径——Hasani也是直接从微观线虫C.elegans中获得的灵感。「它的神经系统中只有302个神经元，」他说，「但它却能产生意想不到的复杂动态。」

Hasani对他的神经网络进行了编码，并仔细关注微观线虫C.elegans的神经元是如何通过「电脉冲」激活和相互沟通。在他构造神经网络的方程时，他允许其中的参数随着时间的推移而改变，当然，这是基于一组嵌套微分方程的结果。

当输入经过隐藏层时，物体轨迹的潜伏空间变得更加复杂。

这种灵活性是实现预想效果的关键。大多数神经网络的行为在「训练阶段」后都是固定的，这意味着它们并不善于「适应输入数据流的变化」。Hasani说，而他的 「液体网络」的流动性使其对「意外或嘈杂的数据」更具弹性，比如，如果大雨遮挡了自动驾驶汽车上摄像头的视野。「所以，它更加强大。」

半猎豹物理模拟

此外，这种神经网络的灵活性还有一个优势：「它的可解释性更强」。Hasani说，他的液体网络绕开了其他神经网络常见的「不可解释性」。Hasani对微分方程还做了改变，「只是改变神经元的表示方式，但你真的可以因此去探索一些其他的复杂程度。」

得益于Hasani新算法中少量但具有高表现力的神经元，我们更容易窥视网络决策的 「黑匣子」，并诊断神经网络为什么会做出某种表征。

「模型本身的表现力更加丰富了，」Hasani说道，「这可以帮助工程师理解和改进液体网络的性能。」

Hasani的网络在一组测试中也表现得非常出色。在预测从大气化学到交通模式等数据集的未来值方面，它比其他时间序列算法高出几个百分点。「在许多应用中，我们看到性能是非常可靠的，」他说。另外，这种网络的小规模也意味着它在没有高计算成本的情况下完成了测试。「每个人都在谈论扩大网络规模，」Hasani说。「而我们却希望缩小规模，拥有更少但更丰富的节点。」

现在，Hasani正在计划不断改进该系统，并为工业化做好准备。「我们有一个可以证明的，具有强表现力的神经网络，但这只是开始，」他说，「显而易见的问题是，如何扩展这一点？我们认为这种神经网络可能是未来智能系统的关键元素！」

论文地址：https://arxiv.org/pdf/2006.04439.pdf

https://techxplore.com/news/2021-01-liquid-machine-learning-conditions.htmlDaniel Ackerman