Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >[Nature Machine Intelligence | 论文简读]三种类型的增量学习

[Nature Machine Intelligence | 论文简读]三种类型的增量学习

智能生信

发布于 2022-12-29 09:38:38

发布于 2022-12-29 09:38:38

7180

举报

文章被收录于专栏：智能生信智能生信

简读分享 | 乔剑博编辑 | 王宇哲

论文题目

Three types of incremental learning

论文摘要

从非平稳的数据流中渐进地学习新信息，被称为“持续学习”，是自然智能的一个关键特征，但对深度神经网络来说是一个具有挑战性的问题。近年来，许多用于持续学习的深度学习方法被提出，但由于缺乏一个通用的框架，它们的性能比较困难。为了帮助解决这个问题，作者描述了持续学习的三种基本类型或“场景”:任务增量学习、域增量学习和类增量学习。每一种情况都有自己的挑战。为了说明这一点，作者根据每个场景使用split MNIST和split CIFAR-100数据集，对目前使用的持续学习策略进行了全面的实证比较。作者展示了三种场景在难度和不同策略的有效性方面的显著差异。提出的分类旨在通过形成清晰定义基准问题的关键基础，来构建持续学习领域。

论文链接

https://www.nature.com/articles/s42256-022-00568-3

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2022-12-20，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自智能生信微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

Nature Machine Intelligence | 三种类型的增量学习

机器学习深度学习监督学习人工智能正则表达式

今天给大家带来一篇剑桥大学有关增量学习的文章。从非平稳的数据流中渐进地学习新信息，被称为“持续学习”，是自然智能的一个关键特征，但对深度神经网络来说是一个具有挑战性的问题。近年来，许多用于持续学习的深度学习方法被提出，但由于缺乏共同的框架，很难比较它们的性能。为了解决这个问题，我们描述了持续学习的三种基本类型或“场景”:任务增量式学习、领域增量式学习和类增量式学习。每一种情况都有自己的挑战。为了说明这一点，作者通过根据每个场景执行Split MNIST和Split CIFAR-100协议，对目前使用的持续学习策略进行了全面的实证比较。作者证明了这三种情况在难度和不同策略的有效性方面存在实质性差异。提出的分类旨在通过形成清晰定义基准问题的关键基础来构建持续学习领域。

智能生信

2022/12/29

10.7K1

Nature Machine Intelligence | 三种类型的增量学习

[Nature Communications | 论文简读] 用于人工神经网络持续学习的大脑启发回放

Brain-inspired replay for continual learning with artificial neural networks

智能生信

2022/12/29

5390

[Nature Communications | 论文简读] 用于人工神经网络持续学习的大脑启发回放

[Nature Machine Intelligence]四篇好文简读-专题1

https 网络安全深度学习机器学习神经网络

Improved protein structure prediction by deep learning irrespective of co-evolution information

智能生信

2021/11/02

7090

【Nature Machine Intelligence】四篇好文简读-专题4

https 网络安全学习方法深度学习监督学习

Morphological and molecular breast cancer profiling through explainable machine learning

智能生信

2022/05/23

6640

【Nature Machine Intelligence】四篇好文简读-专题4

增量学习(Incremental Learning)小综述

迁移学习 https 网络安全网站编程算法

人类有终身不断获取、调整和转移知识的能力，虽然在我们的一生中，我们确实倾向于逐渐忘记之前学习过的知识，但只有在极少的情况下，对新知识的学习会灾难性地影响已经学到的知识，这样的学习能力被称为增量学习的能力。

NewBeeNLP

2021/03/03

7.2K0

增量学习(Incremental Learning)小综述

让模型实现“终生学习”，佐治亚理工学院提出Data-Free的增量学习

学习方法图像处理

目前的计算机视觉模型在进行增量学习新的知识的时候，就会出现灾难性遗忘的问题。缓解这种遗忘的最有效的方法需要大量重播（replay）以前训练过的数据；但是，当内存限制或数据合法性问题存在时，这种方法就存在一定的局限性。

CV君

2021/09/03

8990

[Nature Machine Intelligence | 论文简读] 使用 Benisse 解释单细胞基因表达的B细胞受体库

cell expression na using

Interpreting the B-cell receptor repertoire with single-cell gene expression using Benisse

智能生信

2022/12/29

4790

[Nature Machine Intelligence | 论文简读] 使用 Benisse 解释单细胞基因表达的B细胞受体库

[Nature Communications | 论文简读] 使用弱监督深度学习进行准确的体细胞变异检测

学习方法深度学习

Accurate somatic variant detection using weakly supervised deep

智能生信

2022/12/29

2690

[Nature Communications | 论文简读] 使用弱监督深度学习进行准确的体细胞变异检测

万文长字总结「类别增量学习」的前世今生、开源工具包

网站 https 网络安全机器学习深度学习

机器之心转载作者：思悥随着统计机器学习的逐渐成熟，现在已经是时候打破孤立学习地传统模式，转而研究终身学习，将机器学习推向崭新的高度。一、什么是终身学习(Life-Long Machine Learning)？终身机器学习(或称终身学习)是一种高级的机器学习范式，它通过不断学习，从过去的任务当中积累知识，并用这些知识帮助未来的学习。在这样的过程中，学习者的知识越来越丰富，学习效率也越来越高。这种学习能力的特质是人类智力的重要标志。然而，当前主流的机器学习范式是孤立学习的：给定训练数据集，算

机器之心

2022/04/06

1.4K0

万文长字总结「类别增量学习」的前世今生、开源工具包

[Nature Machine Intelligence | 论文简读] 分子表示的几何深度学习

Geometric deep learning on molecular representations

智能生信

2022/12/29

4370

[Nature Machine Intelligence | 论文简读] 分子表示的几何深度学习

深度学习的类增量学习算法综述

机器学习深度学习模型数据算法

近年来, 深度学习模型在众多领域取得了广泛成功. 现有的深度学习模型大多部署在静态环境下, 依赖提前收集好的数据集进行离线训练, 模型一经确定, 便无法进一步更新. 然而, 现实中开放动态的环境往往存在以流形式不断到来的数据, 包括随时间演进不断产生的新类别数据. 因此, 理想的机器学习模型应能够从流式数据中不断学习新类, 从而增强自身的判别能力. 这样的学习范式被称作“类别增量学习”(class-incremental learning), 且近年来已成为机器学习领域的研究热点。扩展阅读：机器学习模型迭代方法(Python)

算法进阶

2023/08/28

2.3K0

[IEEE | 论文简读] 深度自适应图像聚类

image mnist stl

图像聚类是机器学习和计算机视觉中的一项关键但具有挑战性的任务。现有的方法往往忽略了特征学习和聚类之间的结合。为了解决这一问题，作者提出了深度自适应聚类（DAC），该方法将聚类问题重新定义为一个二分类框架，以判断图像对是否属于同一类别。在DAC中，相似度计算由深度卷积网络（ConvNet）的特征和图像的标签构建余弦距离。通过在DAC中引入一个约束条件，学习到的标签特征往往是可以更好应用在图像聚类。主要的挑战是图像聚类中真实标签是未知的。我们通过提出一个交替迭代自适应学习算法来解决这个问题。总之，图像是根据标签特征自动聚类的。实验结果表明，DAC在5个当前的数据集上取得了最好的结果，如在MNIST上达到97.75%，在CIFAR-10上达到52.18%，在STL-10上达到46.99%。

智能生信

2022/12/29

3440

[IEEE | 论文简读] 深度自适应图像聚类

[Nature Methods | 论文简读] SVision：一种解决复杂结构变异的深度学习方法

SVision: a deep learning approach to resolve complex structural

智能生信

2022/12/29

8430

[Nature Methods | 论文简读] SVision：一种解决复杂结构变异的深度学习方法

[Nature Communication | 论文简读] 将生物医学数据集成和格式化为Bioteque中预先计算的知识图谱嵌入

data formatting graph

Integrating and formatting biomedical data as pre-calculated

智能生信

2022/12/29

6810

[Nature Communication | 论文简读] 将生物医学数据集成和格式化为Bioteque中预先计算的知识图谱嵌入

[Nature Communications | 论文简读] 利用领域知识进行鲁棒和可泛化深度学习的无CT的PET衰减和散射校正

Using domain knowledge for robust and generalizable deep learning-based CT-free PET attenuation and scatter correction

智能生信

2022/12/29

2250

[Nature Communications | 论文简读] 利用领域知识进行鲁棒和可泛化深度学习的无CT的PET衰减和散射校正

国内首发Nature子刊 Machine Intelligence论文：思想精妙，或对DNN有重大改进！

编程算法机器学习神经网络深度学习人工智能

昨晚，Nature子刊 Machine Intelligence发布了八月份最新接收论文，共 4 篇。其中两篇来自国内，一篇是清华生命学院龚海鹏和澳大利亚格里菲斯大学周耀旗等人用神经网络进行蛋白质结构预测方面的工作；另一篇则是中科院自动化所余山团队对深度神经网络在连续学习方面的改进工作。

AI科技评论

2019/08/15

1K0

[Nature 2022 | 论文简读] 通往完全可编程的蛋白质催化的道路

The road to fully programmable protein catalysis

智能生信

2022/12/29

3640

[Nature 2022 | 论文简读] 通往完全可编程的蛋白质催化的道路

[Nat. Mach. Intell. | 论文简读] 对比学习可以快速映射到数百万规模的多模态单细胞图谱

Contrastive learning enables rapid mapping to multimodal single-cell atlas of multimillion scale

智能生信

2022/12/29

2790

[Nat. Mach. Intell. | 论文简读] 对比学习可以快速映射到数百万规模的多模态单细胞图谱

Nature Machine Intelligence | 使用自监督图像表示学习框架精准预测分子特性和药物靶点

javascript 深度学习监督学习无监督学习

Accurate prediction of molecular properties and drug targets using a self-supervised image representation learning framework

智能生信

2022/12/29

7500

Nature Machine Intelligence | 使用自监督图像表示学习框架精准预测分子特性和药物靶点

宽度学习系统：一种不需要深度结构的高效增量学习系统

神经网络卷积神经网络

本文提出了一种基于宽度学习系统的在线学习算法，该算法可以有效地从大规模数据中学习函数逼近。通过使用宽度学习系统，可以在保持较高效的同时，从原始数据中学习复杂的函数映射关系，并将其泛化到新的数据集。实验结果表明，该算法在准确性和运行时间方面均优于现有的深度学习算法。

企鹅号小编

2018/01/09

3K0

宽度学习系统：一种不需要深度结构的高效增量学习系统

相关推荐

Nature Machine Intelligence | 三种类型的增量学习

更多 >

💥开发者 MCP广场重磅上线！

精选全网热门MCP server，让你的AI更好用 🚀