东南大学研究团队提出了一种光伏电池 EL 图像缺陷检测模型,该模型基于神经结构搜索和知识蒸馏,准确率高达 91.74%。
基础模型是现代视觉识别系统中一个至关重要的关注点。基础模型的优劣主要从精度、速度或功耗等角度判定,如何设计模型应对复杂应用场景是非常重要的课题。
前面的轻量级网络架构中,介绍了mobilenet v1和mobilenet v2,前不久,google又在其基础之上推出新的网络架构,mobilenet v3.
这两天折腾了一款软件——kodexplorer,在不同的平台上搭建测试着玩,很好用的一款轻量级网盘,ftp传输工具,文档管理,在线编辑软件,协同办公软件等,功能很多,确实是轻量级。软件大小只有14m,不用安装,只需要解压到相应文件夹。最先看到是在腾讯云社区,@之至top很感谢作者,分享了不少kodexplorer的安装教程。
Raspbian OS 是官方支持的树莓派板卡操作系统。它集成了很多工具,用于教育、编程以及其他广泛的用途。具体来说,它包含了 Python、Scratch、Sonic Pi、Java 和其他一些重要的包。
在现代深度学习算法研究中,通用的骨干网+特定任务网络head成为一种标准的设计模式。比如VGG + 检测Head,或者inception + 分割Head。
目前在深度学习领域主要分为两类,一派为学院派(Researcher),研究强大、复杂的模型网络和实验方法,旨在追求更高的性能;另一派为工程派(Engineer),旨在将算法更稳定、更高效的落地部署在不同硬件平台上。
于今年下半年正式发布的以Micro-OLED高清显示和超轻量级两大特点著称的arpara 5K VR头显,在近日官方为其量身定制的连接手机使用的观影APP arpara home正式上线了。据了解这款APP不但实现了头显直连手机可轻松看高清3D电影的效果,同时还充分照顾到了首次使用的用户在操作上的易用性,不论用户是否操作过VR设备,都可以轻松上手。
本文提出一种新的激活函数ACON (activate or not),可以自适应地学习激活与否。
最近读到一篇关于5G核心网的论文《Revolutionary Direction for 5G Mobile Core Network Architecture》,其中对于从4G到5G的演进提出了很多
随着模型特征提取能力的提高以及模型参数和FLOPs数量的增加,在基于ARM架构的移动设备或基于x86架构的CPU设备上实现快速推理变得困难。在这种情况下,已经提出了许多优秀的Mobile网络,但由于MKLDNN的限制,这些网络的速度在启用MKLDNN的Intel CPU上并不理想。
轻量级网络的核心是在尽量保持精度的前提下,从体积和速度两方面对网络进行轻量化改造,本文对轻量级网络进行简述,主要涉及以下网络:
【导读】之前详细介绍了轻量级网络架构的开源项目,详情请看深度学习中的轻量级网络架构总结与代码实现,本项目主要提供一个移动端网络架构的基础性工具,避免大家重复造轮子,后续我们将针对具体视觉任务集成更多的移动端网络架构。希望本项目既能让深度学习初学者快速入门,又能更好地服务科研学术和工业研发社区。后续将持续更新模型轻量化处理的一系列方法,包括:剪枝,量化,知识蒸馏等等,欢迎大家Star和Follow.
相对重量级网络而言,轻量级网络的特点是参数少、计算量小、推理时间短。更适用于存储空间和功耗受限的场景,例如移动端嵌入式设备等边缘计算设备。因此轻量级网络受到了广泛的关注,其中MobileNet可谓是其中的佼佼者。MobileNetV3经过了V1和V2前两代的积累,性能和速度都表现优异,受到学术界和工业界的追捧,无疑是轻量级网络的“抗把子“。MobileNetV3 参数是由NAS(network architecture search)搜索获取的,又继承的V1和V2的一些实用成果,并引人SE通道注意力机制,可谓集大成者。本文以应用为主,结合代码剖析MobileNetV3的网络结构,不会对NAS以及其设计思想做过多解析。
近年来,深度学习技术在很多方向都取得了巨大的成功,但由于深度神经网络计算复杂度高,模型参数量大,限制了其在一些场景和设备上进行部署,特别是在移动嵌入式设备的部署。因此,模型小型化技术成为最近几年学术界和工业界研究的热点,模型小型化技术也从最开始的网络剪枝、知识蒸馏、参数量化等发展为最新的神经网络架构搜索(NAS)和自动模型压缩等技术。
本次分享的是老牌轻量级的相册应用荔枝相册-Lychee。一个免费的美观且易于使用的照片管理系统,可以在您的服务器或网站空间上运行。安装仅需几秒钟。支持上传,管理和共享照片,因为支持中文,所以使用起来比较简单。如果不像部署其他的一些比较复杂的相册应用的,可以考虑用这个平替。
zhuanlan.zhihu.com/c_1113861154916601856
本项目旨在为自动化研究(特别是轻量级模型)提供信息。有兴趣的同学可以进行收藏或者在Github中推荐/提交项目(论文、项目仓库等)。
介绍一下我在商汤科技&悉尼大学AutoML组ICLR2020最新文章,文章也会分享一些我对NAS的一些浅显的个人看法,希望能够对大家有所启发。
本文提出了一种名为PP-LCNet的轻量级网络,该网络基于MKLDNN加速策略,旨在提高轻量级模型在多种任务上的性能。本文介绍了能够在几乎不增加延迟的情况下提升网络准确度的技术。通过这些改进,PP-LCNet的准确度显著优于具有相同推理时间的先前网络结构。如图1所示,它的性能优于当前大多数前沿模型。在计算机视觉的后续任务(如目标检测、语义分割等)中,它也展现出卓越的性能。所有实验都是基于PaddlePaddle平台实现的。相关的代码和预训练模型可以在PaddleClas上获取。
AI 科技评论按:在计算机视觉领域中,多维度目标检测一直被用作输入以生成反映不同维度信息的特征组合,这种办法能够有效表达图片上的各种维度特征,然而却对硬件计算能力及内存大小有较高要求,因此只能在有限的领域内部使用。Facebook 于 2016 年在论文《Feature Pyramid Networks for Object Detection》中提出的 FPN,通过利用常规 CNN 模型内部从底至上各个层对同一 scale 图片不同维度的特征表达结构,提出了一种可有效在单一图片视图下生成对其的多维度特征表达的方法。近期,Facebook 和谷歌接连发布了基于 FPN 的改进工作,我们将之整理如下。
目标检测模型的性能在模型精度和效率两个主要方面得到了快速的发展。然而,为了将基于深度神经网络(DNN)的目标检测模型部署到边缘设备,通常需要对模型进行比较大的压缩,但是与之而来的也降低了模型的准确性。
论文: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
最近论文真的很超级多,而且很多吸睛话题论文:CornerNet-Lite,CenterNet,NAS-FCN等。2019年4月23日,arXiv上放出了很多优质论文:各种顶会paper和顶会“种子”paper。这里为了节省篇幅,Amusi做了论文精选。本文要速递介绍的这三篇论文,Amusi 觉得都是相当具有影响力的paper,相信对你当前的研究会有很大帮助。
OSS(Object Storage Service)俗称对象存储,主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外,一般私有云比较关心一些开源的分布式对象存储解决方案,本文列举了一些常见的技术方案供参考。
目标检测被广泛应用于许多计算机视觉任务中,包括自主驾驶、机器人视觉、智能交通、工业质量检测、目标跟踪等。
几天前,谷歌AI Blog官宣开源MorphNet,标题为“MorphNet: Towards Faster and Smaller Neural Networks“。
基于Transformer的预训练模型在许多自然语言处理(NLP)任务中取得了很高的准确度。但是这些预训练模型往往需要很大的计算量和内存。由于移动平台的存储空间以及计算能力的限制,这些模型很难实现在移动端的部署。
最近,“暗网议会”已经成为了网络犯罪分子试图证明自己影响力的最新流行语,安全内部人士对这个词也很感兴趣。
导语 | 粗排是介于召回和精排之间的一个模块,是典型的精度与性能之间trade-off的产物。理解粗排各技术细节,一定要时刻把精度和性能放在心中。 在上篇《详细解读!推荐算法架构——召回》中我们结合算法架构召回进行解读分析,本篇将深入重排这个模块进行阐述。 一、总体架构 粗排是介于召回和精排之间的一个模块。它从召回获取上万的候选item,输出几百上千的item给精排,是典型的精度与性能之间trade-off的产物。对于推荐池不大的场景,粗排是非必选的。粗排整体架构如下: 二、粗排基本框架:样本、特征、模
目前在深度学习领域,一方面需要追求更高的性能,采用强大、复杂的模型网络和实验方法;另一方面又需要关注如何将算法更稳定、高效地在硬件平台上落地。复杂的模型固然展现更好的性能,但过高的存储空间需求和计算资源消耗,是影响在各硬件平台上的落地的重要原因之一。尤其在NLP领域,以BERT、GPT为代表的预训练模型规模越来越大。
【GaintPanda导语】这是关于GiraffeDet的论文详读,该论文提出以S2D Chain为组合模块,构建light backbone,再以Queen Fuse和Skip Connect构建GFPN作为颈部模块,与以往检测器的backbone>neck(FLOPS)的构建方式不同,GiraffeDet的neck在参数量和计算量上远超backbone。
今天,“计算机视觉战队”给大家继续分享目标检测综述,今天主要说说目标检测算法的快速发展。
加速目标检测一直是一个重要而又具有挑战性的问题。在过去的20年里,目标检测领域已经发展了复杂的加速技术。这些技术大致可以分为 “ 检测管道提速 ”、“ 检测引擎提速 ” 和 “ 数值计算提速 ” 三个层次,如下图所示。
FBNet系列是完全基于NAS方法的轻量级网络系列,分析当前搜索方法的缺点,逐步增加创新性改进,FBNet结合了DNAS和资源约束,FBNetV2加入了channel和输入分辨率的搜索,FBNetV3则是使用准确率预测来进行快速的网络结构搜索
EfficientDet是谷歌大脑于去年11月份公布的目标检测算法族,涵盖轻量级到高精度的多个模型,COCO数据集上达到 50.9 mAP,一经推出便获得了大量关注!
https://github.com/tinyvision/damo-yolo (上图源自官网)
过去的许多研究表明,特征金字塔中的特征图可以在不同尺度上捕捉物体的视觉特征。浅层保留了细节,如纹理、角落等;深层覆盖了更广泛的语义特征。在真实的场景中,不同大小的物体经常出现在一起,如何同时检测它们成为一个关键问题。而FPN的出现显著提高了目标检测性能,并成为大多数SoTA目标检测器的标准组成部分。
深度学习模型在很多任务上都取得了不错的效果,但调参却是一项非常痛苦的事情,大量的超参数和网络结构参数会产生爆炸性的组合。因此最近几年神经网络的架构搜索和超参数优化成为一个研究热点。此外,对于架构设计新方法、新机制的探索,也是当下深度学习研究与落地的重点课题之一。
论文 1:Deep Learning: Computational Aspects
构建在深度卷积上的Inverted bottleneck layers已经成为移动设备上最先进目标检测模型的主要构建模块。在这项工作中,作者通过回顾常规卷积的实用性,研究了这种设计模式在广泛的移动加速器上的最优性。
卷积神经网络的结构优化和深度加深,带来非常显著的图像识别效果提升,但同时也带来了高计算复杂度和更长的计算时间,实际工程应用中对效率的考虑也很多,研究界与工业界近年都在努力「保持效果的情况下压缩网络复杂度」,也诞生了很多轻量化网络。在本篇内容中,ShowMeAI对常见主流轻量级网络进行展开讲解。
备注:研究方向+地点+学校/公司+昵称,更快通过申请,长按加细分领域技术交流群,目前有细分领域:图像分割、图像目标检测、论文写作、车道检测、模型优化、目标跟踪、SLAM、点云处理(分割检测)、深度学习。
本篇是基于 NAS 的图像超分辨率的文章,知名学术性自媒体 Paperweekly 在该文公布后迅速跟进,发表分析称「属于目前很火的 AutoML / Neural Architecture Search,论文基于弹性搜索(宏观+微观)在超分辨率问题上取得了非常好的结果。这种架构搜索在相当的 FLOPS 下生成了多个模型,结果完胜 ECCV 2018 明星模型 CARNM,这应该是截止至 2018 年可比 FLOPS 约束下的 SOTA(涵盖 ICCV 2017 和 CVPR 2018)。
随着VALSE2019的精彩落幕,SIGAI迎来了建号一周年庆。回顾这365天的时间,我们用130篇优质原创技术文章,与人工智能领域数万的专业人士、学生以及爱好者建立了亲密的伙伴关系。在这里,SIGAI团队真诚的感谢每一位SIGAIer的热情关注和支持,我们将持续输出高品质的专业技术文章,始终遵循我们的承诺:“全方位覆盖AI经典算法与工业应用,紧跟业界新趋势,让你始终站在技术前沿”。SIGAI的第二年,我们在VALSE再次扬帆起航,与各位一起探索AI世界的无限可能。
目标检测是计算机视觉领域最基本但最具挑战性的研究任务之一,其目的是为输入图像中的每个目标预测唯一的边界框,该边界框不仅包含位置,还包含类别信息。在过去几年中,这项任务已被广泛开发并应用于广泛的潜在应用,例如自动驾驶和计算机辅助诊断。
论文: FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search | CVPR 2019
DARTS的搜索空间非常有限,例如,对于每个边保留了一个运算符,每个节点固定接收两个前继输入,等等。这些约束有利于NAS搜索的稳定性,但它们也缩小了强大的搜索方法带来的准确性。最典型的,某些启发式设计(例如,每个单元格中有两个跳连运算符)或搜索技巧(例如,Early Stop),甚至随机搜索也可以达到令人满意的效果。
深度神经网络通常对离线采集的图像(标记的源数据)进行训练,然后嵌入到边缘设备中,以测试从新场景中采集的图像(未标记的目标数据)。在实践中,这种模式由于域转移而降低了网络性能。近年来,越来越多的研究者对无监督领域适应(UDA)进行了深入研究,以解决这一问题。
领取专属 10元无门槛券
手把手带您无忧上云