在最新一期的《Nature》期刊上,来自纽约大学和西班牙加泰罗尼亚研究所的研究者们共同发表了一篇名为《Human-like systematic generalization through a meta-learning neural network》的论文。这篇论文的发表标志着在人工智能领域中,一种具有类似人类系统泛化能力的神经网络得到了进一步的发展和应用。
在过去的几十年中,人工智能领域经历了飞速的发展,其中最为引人注目的成就之一就是深度学习技术的崛起。深度学习技术使得机器可以像人类一样学习和理解复杂的任务,例如图像识别、语音识别、自然语言处理等等。然而,尽管深度学习技术取得了如此巨大的成功,但是它仍然存在着一些根本性的问题,其中最为突出的就是泛化能力。
在机器学习中,泛化能力指的是机器学习模型对于新数据的预测能力和适应能力。目前,大部分的机器学习模型都是在大量的训练数据上进行训练的,但是当它们遇到没有见过的新数据时,往往会出现过拟合或者欠拟合的问题,导致预测结果不准确。因此,如何提高机器学习模型的泛化能力,成为了人工智能领域中一个重要的研究方向。
在这篇论文中,研究者们提出了一种名为“元学习”的神经网络模型,这种模型可以在多个任务之间进行迁移学习,从而提高泛化能力。具体来说,元学习是一种机器学习方法,它可以让机器学习模型在不同的任务之间共享知识和经验,从而更快地适应新的任务。这种神经网络模型可以在训练过程中自动地学习和发现新的规律和特征,并且可以自动地进行调整和优化,从而更加准确地预测新数据。
论文作者精心设计并实施了一项实验,以测试25名受试者在不同情况下使用新学习的单词的能力。在实验中,作者使用了一种独特的伪语言,由两类无意义的伪造词组成,以确保受试者首次接触这些单词。这些基本的单词,如“dax”、“wif”和“lug”,代表了类似于“jump”、“skip”等基本的、具体的动作。而更抽象的功能单词,如“blicket”、“kiki”和“fep”,则指定了使用和组合原始单词的规则。
在实验的准备阶段,受试者接受了训练,将每个基本单词与特定颜色的圆圈联系起来。例如,红色圆圈代表“dax”,蓝色圆圈代表“lug”。随后,受试者被展示了基本单词和功能单词的组合,以及当功能应用于基本单词时产生的圆圈模式。例如,“dax fep”这个短语会用三个红色圆圈表示,而“lug fep”则用三个蓝色圆圈表示。这表明fep代表了一个抽象规则——将一个基本单词重复三次。
实验的最后阶段测试了受试者应用这些抽象规则的能力。他们需要选择正确的颜色和圆圈数量,并将它们按适当的顺序排列。这不仅考验了他们对新单词的记忆能力,也考察了他们对抽象规则的理解和应用能力。
正如预期,人类在这场学习和测试中展现出了他们的实力,平均有80%的选择是正确的颜色和圆圈。然后,研究团队训练了一个神经网络来完成与上述人类参与者相似的任务。这种方法使人工智能能够在动态变化的不同任务中学习,而不仅仅是在静态数据集上优化,这是训练神经网络的标准方法。
为了使神经网络更像人类,论文的作者们训练它来重现人类测试结果中观察到的错误模式。当神经网络面对新的测试时,它的答案几乎与人类参与者的答案完全一致,在某些情况下甚至超过了人类的表现。这就像一个熟练的舞者,在舞台上灵活自如,其表演几乎与专业舞者无异,有时甚至能超越专业舞者。
相比之下,ChatGPT的最新升级版GPT-4在进行同样的测试时遇到了困难,平均错误率为42%-86%。这一表现,相比该研究中的神经网络以及人类,都要差得多。
研究者们在论文中展示了这种元学习神经网络在多个任务中的表现,其中包括一些类似于人类认知的任务,例如图像识别、自然语言处理等等。实验结果表明,这种元学习神经网络可以像人类一样进行系统性的泛化推理,从而更加准确地预测新数据。这为人工智能领域中提高泛化能力的研究提供了一个新的思路和方法。
除了提高泛化能力之外,这种元学习神经网络还有着广泛的应用前景。例如,在医疗领域中,通过对大量的医学文献和病例数据进行元学习,可以自动地学习和发现新的医学知识和规律,从而辅助医生进行诊断和治疗;在金融领域中,通过对大量的金融数据和历史数据进行元学习,可以自动地学习和发现新的市场趋势和风险因素,从而辅助投资者进行投资决策。
这篇论文的发表为人工智能领域提供了一种新的思路和方法,通过提高泛化能力来提高机器学习模型的性能和应用范围。未来随着技术的不断发展和应用场景的不断扩展,我们有理由相信元学习神经网络将会在更多领域中得到广泛的应用和发展。
领取专属 10元无门槛券
私享最新 技术干货