迁移学习是这两年比较火的一个话题，主要原因是在当前的机器学习中，样本数据的获取是成本最高的一块。而迁移学习可以有效的把原有的学习经验（对于模型就是模型本身及其训练好的权重值）带入到新的领域，从而不需要过多的样本数据，也能达到大批量数据所达成的效果，进一步节省了学习的计算量和时间。
本文记录了第一个基于卷积神经网络在图像识别领域的应用：猫狗图像识别。主要内容包含：
卷积神经网络 概念认识：https://cloud.tencent.com/developer/article/1822928
文章目录 1. 单机多卡 MirroredStrategy 2. 多机训练 MultiWorkerMirroredStrategy 3. TPU 张量处理单元 学习于：简单粗暴 TensorFlow 2 1. 单机多卡 MirroredStrategy # 分布式训练 import tensorflow as tf import tensorflow_datasets as tfds # 1 单机多卡 MirroredStrategy strategy = tf.distribute.Mirrored
欢迎来到TensorFlow入门实操课程的学习 MOOC TensorFlow入门实操课程代码回顾总结（一） MOOC TensorFlow入门实操课程代码回顾总结（三） 注： 用于表示python代码 粘贴运行结果 目录 5 图像分类基础应用——猫狗分类案例 5.1 导入库 5.2 下载数据集 5.3 查看样本数目 5.4 创建文件夹，存放训练测试数据 5.5 切分为训练数据和测试数据 5.6 模型构建 5.7 数据预处理 5.8 模型训练 5.9 训练结果可视化 5.10 模型推理 6 迁移学
项目及数据地址：https://www.kaggle.com/c/dogs-vs-cats-redux-kernels-edition/overview
有Google账号（具体怎么注册账号这里不详述，大家都懂的，自行百度）在你的Google邮箱中关联好colab（怎样在Google邮箱中使用colab在此不详述，自行百度）
在文件夹下分别建立训练目录train，验证目录validation，测试目录test，每个目录下建立dogs和cats两个目录，在dogs和cats目录下分别放入拍摄的狗和猫的图片，图片的大小可以不一样。
在机器学习项目中，如果使用的是比较小的数据集，数据集的处理上可以非常简单：加载每个单独的图像，对其进行预处理，然后输送给神经网络。但是，对于大规模数据集(例如ImageNet)，我们需要创建一次只访问一部分数据集的数据生成器(比如mini batch)，然后将小批量数据传递给网络。其实，这种方法在我们之前的示例中也有所涉及，在使用数据增强技术提升模型泛化能力一文中，我就介绍了通过数据增强技术批量扩充数据集，虽然那里并没有使用到超大规模的数据集。Keras提供的方法允许使用磁盘上的原始文件路径作为训练输入，而不必将整个数据集存储在内存中。
安妮 岳排槐 发自 凹非寺 量子位 出品 | 公众号 QbitAI 如果你的心里只有一件事。 请问：是不是学习？ Google希望你是，而且还准备扶上马，再送一程。 所以今天一早，大礼包又来了。 📷 手把手教你 今年春天，Google发布了机器学习速成课，英文简称MLCC。而且这套基本全程都有中文的课程，还是完全免费的。 📷 这还不够。 Google觉得光学理论还不够，必须教你理论与实战相结合。 所谓：知行合一。 于是，Google发布了最新的一套课程：
对于机器学习来说，数据的重要性无可厚非，大部分处理机器学习的问题都是在处理数据，包括数据的清洗，归一化等，好的数据质量能大大提高模型的预测性能
【导读】Keras是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。本系列将教你如何从零开始学Keras，从搭建神经网络到项目实战，手把手教你精通Keras。相关内容参考《Python深度学习》这本书。
如果你不喜欢小猫和小狗，你可能不知道他们具体是哪一种品种，但是一般来说，你都能区分出这是猫还是狗，猫和狗的特征还是不一样的，那我们如何用机器学习的方法训练一个网络区分猫狗呢？
首先小小的庆祝一下自己的微信公众号订阅用户已达到100人了，是小小的虚荣心也是收获也是鞭策，希望自己砥砺前行，努力进步，做到更好。
注意：@tf.function修饰的函数内，尽量只用 tf 的内置函数，变量只用 tensor、numpy 数组
深度学习是机器学习的一个分支，目前常用的深度学习框架有 TensorFlow、PyTorch和飞桨等（飞桨，即 PaddlePaddle，全中文的官方文档，让学习者不为语言而担忧）。本小节中将以 PyTorch 演示一个经典的案例，让初学 Python 的读者对深度学习有感性地认识。所以，以下代码可不求甚解，只要能认识到所涉及到的基础知识并不陌生即可——除了 PyTorch 部分。
例如，通过callback嵌入到lightgbm/catboost/transformers/ultralytics，乃至keras库的训练代码流程中~
在本文中，我们将介绍超参数优化，然后使用TensorBoard显示超参数优化的结果。
前文我们用keras的Sequential 模型实现mnist手写数字识别，准确率0.9713。今天我们完成day40-42的课程，实现猫、狗的识别。
SwinTransformer 是微软亚洲研究院在2021年提出的适用于CV领域的一种基于Tranformer的backbone结构。
运行结果：Found 1600 validated image filenames belonging to 2 classes.
元学习是当前人工智能领域最有前途和趋势的研究领域之一。 它被认为是获得广义人工智能（AGI）的垫脚石。 在本章中，我们将了解什么是元学习以及为什么元学习是当前人工智能中最令人振奋的研究。 我们将了解什么是少拍，单拍和零拍学习，以及如何在元学习中使用它。 我们还将学习不同类型的元学习技术。 然后，我们将探索学习通过梯度下降学习梯度下降的概念，其中我们了解如何使用元学习器来学习梯度下降优化。 继续进行，我们还将学习优化作为少样本学习的模型，我们将了解如何在少样本学习设置中将元学习器用作优化算法。
Kaggle概述与数据集下载：https://www.kaggle.com/c/dogs-vs-cats/data 原外文教程：https://deeplizard.com/learn/video/bfQBPNDy5EM
CV领域中，在完成数据准备工作和设计定义好模型之后，我们就可以去迭代训练模型了，通过设置调节不同的超参数（这需要理论知识和丰富的经验）来使得损失（loss）和准确率（accuracy）这两个常用的指标达到最优。一般在训练完成之后，都需要通过损失曲线图和准确率曲线图来衡量整个训练过程。
这篇文章来写一下用 pytorch 训练的一个 CNN 分类器，数据集选用的是 kaggle 上的猫狗大战数据集，只有两个 class ，不过数据集还是挺多的，足够完成我们的分类任务。这份数据集分为 train 和 test 两个文件夹，装着训练集和测试集，还有一个 sample_submission.csv 用来提交我们训练的模型在测试集上的分类情况。值得注意的是，训练集是带标签的，标签在文件名中，如 cat.7741.jpg，而测试集是不带标签的，因为我们模型在测试集中测试后分类的结果是要填到 csv 文件中提交的，所以不能拿测试集来评估模型，我们可以在训练集中划分出一个验证集来评估模型。
（由于微信公众号外部链接的限制，文中的部分链接可能无法正确打开。如有需要，请点击文末的“阅读原文”按钮，访问可以正常显示外链的版本。）
数据增强是从现有的训练样本中生成更多的训练数据，方法是利用多种能够生成可信图像的随机变换来增加样本，比如对图片进行角度变换，平移等方法 目的是为了防止模型的过拟合
第1,3和5行可能指的是拼写和格式略有偏差的同一个人。在小型数据集中，可以手动清洁细胞。但是在庞大的数据集中呢？如何梳理成千上万的文本条目并将类似的实体分组？
第一层：32个feature map 5x5卷积、步长为2、最大值池化 局部相应归一化处理（LRN） 第二层：64个feature map 3x3卷积、步长为1、没有池化 第三层：128个feature map 3x3卷积、步长为1、最大值池化 局部相应归一化处理（LRN） 扁平层操作12x12x128个神经元 输出层操作2个神经元输出、sigmoid激活函数 卷积层采用relu作为激活函数。
选自微软机器学习博客 机器之心编译 参与：陈韵竹、路雪 本文介绍了如何使用微软 DVSM、利用迁移学习技术在 20 多分钟时间内达到 Kaggle 猫狗识别竞赛的第二名的性能。 引言 几周前，我写了一
在上面几个实战中，我们使用的是Pytorch官方准备好的FashionMNIST数据集进行的训练与测试。本篇博文介绍我们如何自己去准备数据集，以应对更多的场景。
pytorch给我们提供了很多已经封装好的数据集，但是我们经常得使用自己找到的数据集，因此，想要得到一个好的训练结果，合理的数据处理是必不可少的。我们以1400张猫狗图片来进行分析：
解决任何真实问题的重要一步是获取数据。Kaggle提供了大量不同数据科学问题的竞赛。我们将挑选一个2014年提出的问题，然后使用这个问题测试本章的深度学习算法，并在第5章中进行改进，我们将基于卷积神经网络（CNN）和一些可以使用的高级技术来改善图像识别模型的性能。大家可以从https://www.kaggle.com/c/dogs-vs-cats/data下载数据。数据集包含25,000张猫和狗的图片。在实现算法前，预处理数据，并对训练、验证和测试数据集进行划分是需要执行的重要步骤。数据下载完成后，可以看到对应数据文件夹包含了如图3.6所示的图片。
您现在对 Keras 有了一些经验——您熟悉 Sequential 模型、Dense 层以及用于训练、评估和推断的内置 API——compile()、fit()、evaluate() 和 predict()。您甚至在第三章中学习了如何从 Layer 类继承以创建自定义层，以及如何使用 TensorFlow 的 GradientTape 实现逐步训练循环。
本文集以 Kaggle 网站真实竞赛《dogs-vs-cats-redux-kernels-edition》为主线，讲解如何使用深度学习技术解决图像分类问题。本文作为文集第一篇，讲解图像数据集的下载和清洗。
pytorch给我们提供了很多已经封装好的数据集，但是我们经常得使用自己找到的数据集，因此，想要得到一个好的训练结果，合理的数据处理是必不可少的。我们以1400张猫狗图片来进行分析。
是骡子是马拉出来溜溜就知道，一个模型好还是坏，放在全新的测试集上去测试下就知道了，根据模型测试的结果我们才能衡量模型的泛化性、稳定性等指标如何，从而方便我们根据测试的反馈去进行调参优化模型。
卷积网络接收(image_height,image_width,image_channels)形状的张量作为输入(不包括batch size)。MNIST中，将图片转换成(28,28，1)形状，然后在第一层传递input_shape参数。 显示网络架构
在深度学习的项目实践中，往往会遇到两个非常难以克服的难题，一是算力，要得到精确的结果，你需要设计几千层，规模庞大的神经网络，然后使用几千个GPU,把神经网络布置到这些GPU上进行运算；第二个难以克服的困难就是数据量，要想得到足够精确的结果，必须依赖于足够量的数据来训练网络模型。本节我们先看看第二个问题如何解决。
这篇文章非常全面细致地介绍了Batch Size的相关问题。结合一些理论知识，通过大量实验，文章探讨了Batch Size的大小对模型性能的影响、如何影响以及如何缩小影响等有关内容。
【编者按】Springboard AI顾问、前Intel数据科学家Dipanjan (DJ) Sarkar全面介绍了迁移学习的概念、应用、优势、挑战，重点关注深度迁移学习。
一般来说，神经网络层数越深、参数越多，所得出的结果就越精细。但与此同时，问题也来了：越精细，意味着所消耗的计算资源也就越多。这个问题怎么破？这就要靠剪枝技术了。言下之意，把那些对输出结果贡献不大的参数剪掉。这项技术可追溯至深度学习大神Yan LeCun在1990年的研究。 本文除了对各类剪枝技术进行详解，还会以案例的形式来进行实验实操：修剪一个基于VGG-16模型的猫狗分类器。这个案例结果证明，剪枝后的模型在速度上比原来快了近3倍，而文件大小只有原来的1/4。这对于移动设备，速度和大小都极其重要。
我们都知道对我们的训练数据进行翻转，平移，缩放等扩充的操作往往可以获得一个训练更好的网络模型，这些扩充操作往往可以帮助我们的模型更好的挖掘到那些对于位置，光照等信息不敏感的信息，从而具有更好的泛化性，得到更好的预测结果。那既然训练集的数据可以扩充，测试集呢？
PyTorch作为一款流行深度学习框架其热度大有超越TensorFlow的感觉。根据此前的统计，目前TensorFlow虽然仍然占据着工业界，但PyTorch在视觉和NLP领域的顶级会议上已呈一统之势。
本文使用的是 kaggle 猫狗大战的数据集：https://www.kaggle.com/c/dogs-vs-cats/data
参考： https://tf.wiki/zh_hans/deployment/serving.html# https://tensorflow.google.cn/tfx/serving/docker
训练机器学习模型的时候，需要先找数据集、下载、装数据集……太麻烦了，比如MNIST这种全世界都在用的数据集，能不能来个一键装载啥的？
在图像识别/目标检测领域，基本上CNN的天下，从基础的AlexNet，再到后面更深的GoogleNet、VGGNet等，再到收敛速度更快、泛化性更强ResNet等残差网络，从2012年到现在CNN网络在图像识别/目标检测领域可谓是一个很好的方法。
我是个排球迷，所以让我们来看看最后一个网站，这是一个奥地利研究所的网站，他分析了当地业余联赛的比赛数据。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
