大模型的“失忆症”有望治愈！

从今天起，《格物智》将推出“人工智能”系列科创对话。我们将邀请相关领域的前沿科学家、学者、专家，从不同角度介绍人工智能技术的最新发展和应用。

ChatGTP的亮相，使很多人对人工智能大语言模型顶礼膜拜。但是，目前大模型中普遍使用的神经网络有一个致命伤：灾难性遗忘。也就是说，当它学习新知识时，会破坏以前旧的知识，甚至完全清除。那么，如何帮助大模型保留记忆呢？

今天，伦敦大学学院计算机系教授、图灵学者汪军将为我们介绍科学家们正在研究的解决方案。

文字实录

现在还有一个非常有意思的东西是什么？我觉得可能是我们叫context learning（情境学习），什么意思？大家现在研究的热点就是现在大语言模型非常大，但是之前你给它的这些信息，让它去执行下面事情的时候，给的序列它有一定的限制性。

比如说有一本书，我让它把这本书灌进去以后，让它分析一下这本书里面到底写的什么，就它前面所谓context（情境）窗口很窄，一本书大概有多少万字对吧？但是context（情境窗口）可能就几千，现在可能能达到几万，但是可能不足以把一本书放进去，让它进行分析，所以宽度很窄，这个宽度之前的这些东西它全部忘掉了。你当然问它这些问题的时候，比如你问它问题的前10个，你跟它的交互的时候它就没法放进去了，这是语言模型的一个局限性。

那么现在大家在不断提高，甚至可以达到无限。如果达到无限的话，这个就非常有意思了，所有的历史它都记得，它都知道。当你在执行的时候，因为我们人也是一样，你就会发现为什么我们中国人老讲，就是说要听年长人的话，他的意见。

为什么？他有很多经验，这些经验很重要对吧？所以你如果能够有一个无限长的，所谓context（情境窗口），你可以灌进去无限长度，历史上的成功失败它都记得了。在这种情况下，它就可以根据历史上的东西放到里面，它就可以对下面就不断提高。