首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    速度提升5.8倍数 | 如果你还在研究MAE或许DailyMAE是你更好的选择,更快更强更节能!!!

    自监督学习(SSL)在机器学习中代表了转变性的飞跃,通过利用未标记数据来进行有效的模型训练[3, 4, 20, 22, 31, 32, 33, 34]。这种学习范式得益于大规模数据集,以学习丰富表示用于小样本学习[8]和迁移学习[13, 23]。互联网上大量的未标记数据激发了对深度神经网络模型在大数据集上训练的需求。目前,SSL的成功通常需要在高性能计算集群(HPC)[8, 11, 17]上训练数周。例如,iBOT [47]在16个V100上训练了193小时,用于ViT-S/16。这些计算不包括在开发SSL框架时测试不同假设所需要的时间,这些假设需要在ImageNet-1K[36]的适当规模上进行测试,ImageNet-1K拥有120万个样本,并且需要相当数量的迭代。因此,高效的预训练配方被高度期望以加速SSL算法的研究,例如,超参数调整和新算法的快速验证。为了减少训练时间,一些研究人员在ImageNet-1K[36]的子集上训练他们的模型,例如10%的样本[3]。然而,当模型扩展到大型数据集时,可能会存在性能差距,即在小数据集上表现成熟的模型可能无法处理复杂问题上的多样性。

    01

    [ILSVRC] 基于OverFeat的图像分类、定位、检测引言相关理论计算机视觉三大任务Alexnet图片分类回顾基础学习OverFeat图片分类定位任务检测总结Reference

    引言 对于分类问题而言,一个常用的增加训练样本的方法是将训练样本随机移动一个小的位移,或者,等价的,在图像中随机取一些大的图像块。然后以这些图像块为输入训练分类模型。在测试阶段,可以采用滑窗的方法对每一个图像块进行分类,然后组合这些分类结果,得到一个置信度更高的类别标签。这种技巧被广泛运用于机器学习算法中,例如:瑞士一个研究组的文章:Multi-column Deep Neural Networks for Image Classification. CVPR2012.   对于检测和定位问题,最自然(也是

    06

    在小目标检测上另辟蹊径的SNIP

    相信大家都或多或少的熟悉一些检测器,不知道你是否思考过这样一个问题?FPN的多特征图融合方式一定是最好的吗?如果你看过【CV中的特征金字塔】一,工程价值极大的ASFF这篇论文的话,你应该知道这篇论文的出发点就是如何对不同尺度的特征做自适应特征融合(感觉也可以叫作FPN+Attention),而非【CV中的特征金字塔】二,Feature Pyramid Network那样较为暴力的叠加(不知道这个说法是否稳妥,有意见欢迎来提)。而今天要介绍的这个SNIP(「An Analysis of Scale Invariance in Object Detection – SNIP」)算法,是CVPR 2018的文章,它的效果比同期的目标检测算法之CVPR 2018 Cascade R-CNN效果还好一些。为什么说这个算法是另辟蹊径呢?因为这个算法从COCO数据集开始分析,作者认为目标检测算法的难点在于「数据集中目标的尺寸分布比较大,尤其对小目标的检测效果不太好」,然后提出了本文的SNIP算法。

    02
    领券