迁移学习（Transfer Learning）目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。
知识蒸馏与迁移学习不仅仅属于模型优化的重要技术之一，也是提升模型跨领域泛化能力的重要技术，那么当前有哪些可用的知识蒸馏和迁移学习开源工具呢？
来源：PaperWeekly 本文共1296字，建议阅读6分钟。 本文为你分享9款实用的AI开源项目，功能强大，值得收藏！ Semantic Segmentation PyTorch #PyTorch上最好的语义分割工具包 本项目是由 MIT CSAIL 实验室开源的 PyTorch 语义分割工具包，其中包含多种网络的实现和预训练模型。自带多卡同步 bn，能复现在 MIT ADE20K 上 SOTA 的结果。 ADE20K 是由 MIT 计算机视觉团队开源的规模最大的语义分割和场景解析数据集。 从右至左：
本文讲述了现代机器学习的模型，主要由微软数据科学家Anusua Trivedi和数据科学家经理Wee Hyong Tok共同撰写。
一、背景介绍 MNIST之于CV犹如Lena之于图像处理，HelloWorld之于编程语言一般，是每个coder必不可少的初体验。Kaggle上有一个叫做NIPS Papers的公开数据集，收集了自1987至2017年以来NIPS会议上发表所有文章的题目、作者信息、摘要和正文数据。基于这个数据集的一个有趣的统计显示近四届（含2017年）NIPS会议论文最高引用的数据集竟然是MNIST，大约20%的文章都直接使用或者引用了MNIST的相关内容。MNIST已经20多岁了，甚至它本身用于信件分拣的实际用途也已不复
距离上次更公众号已经有一段时间了，寒假到开学这段时间都没有更新，笔者在这跟大家说声抱歉。这个学期可能会更新一些有关深度学习的文章，尽量保持一周一更，也希望大家监督。话不多说，开始正题。
是重新搭一个模型呢，还是拿来新数据重新调参，在这个已经训练好的模型上搞迁移学习呢？
迁移学习指的是在相同的模型下，我们在某一份数据上学习的知识可以应用到另外一份数据上去。也就是在某一个场景下学习的知识应用到另外一个场景，这两个场景间不同但是相关。
本篇记录使用 pytorch 官方 resnet101 实现迁移学习，迁移学习是当前深度学习领域的一系列通用的解决方案，而不是一个具体的算法模型。Pre-training + fine-tuning（预训练+调参） 的迁移学习方式是现在深度学习中一个非常流行的迁移学习方式，有以下3步
作者：Ruijia Xu、Ziliang Chen、Wangmeng Zuo、Junjie Yan、Liang Lin
Lifelong learning终生学习，又名continuous learning，increment learning，never ending learning。通常机器学习中，单个模型只解决单个或少数几个任务。对于新的任务，我们一般重新训练新的模型。而LifeLong learning，则先在task1上使用一个模型，然后在task2上仍然使用这个模型，一直到task n。Lifelong learning探讨的问题是，一个模型能否在很多个task上表现都很好。如此下去，模型能力就会越来越强。这和人类不停学习新的知识，从而掌握很多不同知识，是异曲同工的。
[1]吴恩达老师课程原地址: https://mooc.study.163.com/smartSpec/detail/1001319001.htm
深度学习工程师被称为“炼丹工程师”，自然是因为在日常工作中需要各种各样的调参工作。虽然因为Google的研究使得AutoML这两年大热，但是对于大部分人来说，还没有机器玩得起AutoML，而且手动调参数也是一门必备的技能。
在前面的文章中，我们通常是拿到一个任务，譬如图像分类、识别等，搜集好数据后就开始直接用模型进行训练，但是现实情况中，由于设备的局限性、时间的紧迫性等导致我们无法从头开始训练，迭代一两百万次来收敛模型，所以这个时候迁移学习就派上用场了。 ---- 什么是迁移学习？ 迁移学习通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间的相似性，用成语来说就是举一反三。由于直接对目标域从头开始学习成本太高，我们故而转向运用已有的相关知识来辅助尽快地学习新知识。比如，已经会下中国象棋，就可以类
在Meta-learning核心思想及近年顶会3个优化方向一文中，我们从meta-learning的基础思想出发，并介绍了MAML经典模型，以及在此基础上最近3年学术界对meta-learning算法本身的不同角度优化。Meta-learning可以理解为是一个工具，它可以应用于很多不同的场景中，利用meta-learning两层优化目标的思路解决特定场景下的问题。本文梳理了业内近几年利用meta-learning解决不同场景问题的顶会论文，涉及meta-learning在域自适应、迁移学习、图学习、正负样本不均衡、知识蒸馏等多个场景的应用，帮助大家更深入的理解meta-learning的本质思想，以及如何在不同问题中应用meta-learning这个工具。
AI 科技评论按：通常而言，深度学习是典型的数据驱动型技术，面对数据有限的情况，传统的深度学习技术的性能往往不尽如人意。在本届 ICLR 上，许多研究者们利用元学习、迁移学习等技术对小样本学习问题进行了探究，发表了多篇高质量论文，可谓百家争鸣！深度学习工程师 Isaac Godfried 在 Medium 上发表了一篇文章，基于今年 ICLR 上关于小型数据集深度学习研究的论文，探讨了目前小样本学习的最新进展。AI 科技评论编译如下。
上周(5/6/19)，国际学习表征会议(ICLR)开幕了。在此，我想深入研究一些我认为有趣的ICLR论文，这些论文大多与我个人感兴趣的领域有关(无监督学习、元学习、注意力、NLP)，但我选择它们的原因却是因为它们在各自领域的高质量和影响力。本文第一部分将介绍在小数据集上深度学习领域的突破。第二部分将讨论在NLP和其他序列化数据方面的突破。最后的第三部分是我觉得有趣的杂七杂八的论文。
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
人工智能系统需要依赖大量数据，然而数据的流转过程以及人工智能模型本身都有可能泄漏敏感隐私数据。
▌简介 ---- 迁移学习是一种机器学习方法，其中为一个任务开发的模型可以在另一个任务中重用。 迁移学习是深度学习中的一种流行方法，其中预训练（pre-trained）的模型是计算机视觉和自然语言处理任务的起点。在这些任务上开发神经网络模型需要大量计算时间，用到的技术也差别很大。 在这篇文章中，你将学会如何使用迁移学习来加速训练或者用来提高深度学习模型的性能。 本文介绍以下几点： 什么是迁移学习，如何使用它？ 迁移学习在深度学习中的范例 什么时候在你需要在自己的预测建模问题上使用转移学习 ▌什么是迁移学习
机器学习技术在许多领域取得了重大成功，但是，许多机器学习方法只有在训练数据和测试数据在相同的特征空间中或具有相同分布的假设下才能很好地发挥作用。当分布发生变化时，大多数统计模型需要使用新收集的训练数据重建模型。在许多实际应用中，重新收集所需的训练数据并重建模型的代价是非常昂贵的，在这种情况下，我们需要在任务域之间进行知识迁移 (Knowledge Transfer) 或迁移学习 (Transfer Learning)，避免高代价的数据标注工作。
[1]多元高斯分布的KL散度: https://blog.csdn.net/u013555719/article/details/106797330
监督学习是机器学习当中非常常见的一种机器学习类型，就是在已知输入输出的情况下训练出一个模型，并且将输入映射输出。
Google 推出 TensorFlow.js 已有多年，JavaScript 也不知不觉成为了世界上最好的语言。相信对于大多数没接触过机器学习的前端工程师来说，都有一个共同的疑惑：TensorFlow.js 到底能做些什么？
在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难得到。我们看到Web应用领域的发展非常快速。大量新的领域不断涌现，从传统的新闻，到网页，到图片,再到博客、播客等等。传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力与物力。而没有大量的标注数据，会使得很多与学习相关研究与应用无法开展。其次，传统的机器学习假设训练数据与测试数据服从相同的数据分布。然而，在许多情况下，这种同分布假设并不满足。通常可能发生的情况如训练数据过期。这往往需要我们去重新标注大量的训练数据以满足我们训练的需要，但标注新数据是非常昂贵的，需要大量的人力与物力。从另外一个角度上看，如果我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些数据就是迁移学习主要解决的问题。迁移学习可以从现有的数据中迁移知识，用来帮助将来的学习。迁移学习（Transfer Learning）的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。因此，迁移学习不会像传统机器学习那样作同分布假设。
AI科技评论按：伴随着最近几年的机器学习热潮，迁移学习 (Transfer Learning)也成为目前最炙手可热的研究方向。 迁移学习强调通过不同领域之间的知识迁移，来完成传统机器学习较难完成的任务。它是解决标定数据难获取这一基础问题的重要手段，也是未来更好地研究无监督学习的重要方法。 在近日AI研习社的公开课上，来自中国科学院计算技术研究所的在读博士王晋东带来了题为《迁移学习的发展和现状》的分享。 王晋东，现于中国科学院计算技术研究所攻读博士学位，研究方向为迁移学习和机器学习等。他在国际权威会议ICDM
👆点击“博文视点Broadview”，获取更多书讯 AI圈喜欢逛知乎的小伙伴很多应该知道知名大V@王晋东不在家数年前开源的《迁移学习简明手册》。 该手册是作者王晋东根据自己在迁移学习领域的学习和研究心得进行系统性梳理的成果，非常适合初学者学习。 手册上线3年多的时间里备受好评，帮助了大量AI从业者快速入门迁移学习。 如今，《迁移学习简明手册》代码库和手册分别已经在Github上收获了 7K 和 2K 多星标。 现在，这本手册已全面更新，形成《迁移学习导论》一书，已经出版上市。 该书从初学者入门的角度，循序
在有监督的机器学习和尤其是深度学习的场景应用中，需要大量的标注数据。标注数据是一项枯燥无味且花费巨大的任务，关键是现实场景中，往往无法标注足够的数据。而且模型的训练是极其耗时的。因此迁移学习营运而生。 传统机器学习(主要指监督学习)
迁移学习，简单的说，就是能让现有的模型算法稍加调整即可应用于一个新的领域和功能的一项技术。这个概念目前在机器学习中其实比较少见，但其实它的潜力可以相当巨大。杨强教授在刚刚结束的CCF-GAIR上的演讲
AI圈喜欢逛知乎的小伙伴很多应该知道知名大V@王晋东不在家数年前开源的《迁移学习简明手册》。该手册，是作者王晋东根据自己在迁移学习领域的学习和研究心得进行系统性梳理的成果，非常适合初学者学习。 手册上线3年多的时间里备受好评，帮助了大量AI从业者快速入门迁移学习。如今，《迁移学习简明手册》代码库和手册分别已经在Github上收获了 7K 和 2K 多星标。 现在，这本手册已全面更新，形成《迁移学习导论》一书，已经出版上市。 该书从初学者入门的角度，循序渐进地引入迁移学习的相关概念、问题、方法和应用，结
ImageNet首次发表于2009年，在接下来的四年里，它成为了大多数计算机视觉模型的基础。到目前为止，无论您是在训练一个模型来检测肺炎还是对汽车模型进行分类，您都可能从在ImageNet或其他大型(和一般图像)数据集上预先训练的模型开始。
在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（feature space）。但在现实应用中，这个假设很难成立，往往遇到一些问题：
随着VALSE2019的精彩落幕，SIGAI迎来了建号一周年庆。回顾这365天的时间，我们用130篇优质原创技术文章，与人工智能领域数万的专业人士、学生以及爱好者建立了亲密的伙伴关系。在这里，SIGAI团队真诚的感谢每一位SIGAIer的热情关注和支持，我们将持续输出高品质的专业技术文章，始终遵循我们的承诺：“全方位覆盖AI经典算法与工业应用，紧跟业界新趋势，让你始终站在技术前沿”。SIGAI的第二年，我们在VALSE再次扬帆起航，与各位一起探索AI世界的无限可能。
Deep Neural Network - DNN 是OpenCV中的深度神经网络模块，支持基于深度学习模块前馈网络运行、实现图像与视频场景中的
在上次的动画简介中, 我们大概了解了一些迁移学习的原理和为什么要使用迁移学习. 如果用一句话来概括迁移学习, 那务必就是:“为了偷懒, 在训练好了的模型上接着训练其他内容, 充分使用原模型的理解力”.有时候也是为了避免再次花费特别长的时间重复训练大型模型.
迁移学习广泛地应用于NLP、CV等各种领域，通过在源域数据上学习知识，再迁移到下游其他目标任务上，提升目标任务上的效果。其中，Pretrain-Finetune（预训练+精调）模式是最为常见的一种迁移学习方法。例如NLP中的预训练Bert模型，通过在下游任务上Finetune即可取得比直接使用下游数据任务从零训练的效果要好得多。
深度集成和迁移学习是提高模型性能和泛化能力的重要技术。在Python中，LightGBM作为一种高效的梯度提升决策树算法，可以与其他模型进行深度集成，同时也支持迁移学习。本教程将详细介绍如何在Python中使用LightGBM进行深度集成与迁移学习，并提供相应的代码示例。
关于作者 尚鸿，腾讯研发管理部\AI平台部\AI医疗中心 从最开始的每月一个版本，到后来的 2017年，再次兴起的人工智能还在寻找产业落地，而亟待信息化、智能化的医疗系统在寻找技术突破，于是，腾讯、医疗，看似不相关的两者，在2017年走到了一起。医疗AI，用科技赋能医疗，创造医疗资源，提升全社会的医疗水平，这里同时蕴藏着巨大的社会价值和商业价值。当然机遇总是伴随着挑战，人工智能被媒体包装的神乎其神，而医疗体系对结果的准确性有着最为苛刻的要求，技术上的挑战远远不是“下几个开源算法”就能搞定的。带着科技向
聊起 AI，画面都充斥着机械语言：精密高级的芯片，光怪陆离的智能产业……你眼中的 AI 有什么样的能力？能给传统行业带来哪些变革与发展？基于此，云加社区联手知乎科技，从知乎AI 与传统行业相关话题中精选内容落地社区专题「 AI 与传统行业的融合 」。
在SMP会议上，感觉到了迁移学习的前景很乐观，感觉这个也是以后必学的知识，所以这里小编先放了这篇文章，即使现在看不懂的，也可以收藏，反正以后必须要了解哒！
近年来，我们在训练深度神经网络从大量的标记数据（图片、句子、标签预测等）中获取非常精确的输入输出映射关系上取得了巨大的进展。
得益于迁移学习，计算机视觉领域的发展非常迅速。有着几百万个参数的高度非线性模型通常需要大型数据集的训练，经过几天甚至几周的训练，也只能分辨猫狗。
药物发现工作中可用于训练计算模型的数据集通常很少。标记数据的稀疏可用性是人工智能辅助药物发现的主要障碍。解决该问题的一种方法是开发可以处理相对异构和稀缺数据的算法。迁移学习是一种机器学习方法，可以利用其他相关任务中现有的，可推广的知识来学习带有少量数据的单独任务。深度迁移学习是药物发现领域最常用的迁移学习模型。本文概述了迄今为止转移学习和药物发现的相关应用。此外，它为药物发现转移学习的未来发展提供了前景。
迁移学习：遇到一个新问题，不是从头训练一个网络模型，而是在现有的预训练模型上，再次训练或者直接使用。
论文题目：TOAST: Transfer Learning via Attention Steering
Taskonomy通过量化不同视觉任务之间的关联、并利用这些关联最优化学习策略。（如果两视觉任务A,B之间具有关联性，那么我们在A中学习到的表达理应可以为解决任务B 提供有效的统计信息）
人类从小就在日常活动中成长和学习。人类通过学习一项任务来获取知识。通过使用相同的知识，我们倾向于解决相关的任务。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
