[Nature Machine Intelligence | 论文简读]三种类型的增量学习

简读分享 | 乔剑博 编辑 | 王宇哲

论文题目

Three types of incremental learning

论文摘要

从非平稳的数据流中渐进地学习新信息，被称为“持续学习”，是自然智能的一个关键特征，但对深度神经网络来说是一个具有挑战性的问题。近年来，许多用于持续学习的深度学习方法被提出，但由于缺乏一个通用的框架，它们的性能比较困难。为了帮助解决这个问题，作者描述了持续学习的三种基本类型或“场景”:任务增量学习、域增量学习和类增量学习。每一种情况都有自己的挑战。为了说明这一点，作者根据每个场景使用split MNIST和split CIFAR-100数据集，对目前使用的持续学习策略进行了全面的实证比较。作者展示了三种场景在难度和不同策略的有效性方面的显著差异。提出的分类旨在通过形成清晰定义基准问题的关键基础，来构建持续学习领域。

论文链接

https://www.nature.com/articles/s42256-022-00568-3