雷锋网注：卷积神经网络（Convolutional Neural Network）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 Yann LeCu
从1989年LeCun提出第一个真正意义上的卷积神经网络到今天为止，它已经走过了29个年头。自2012年AlexNet网络出现之后，最近6年以来，卷积神经网络得到了急速发展，在很多问题上取得了当前最好的结果，是各种深度学习技术中用途最广泛的一种。在本文中SIGAI将为大家回顾和总结卷积神经网络的整个发展过程。
论文作者：Guohao Li, Matthias Müller, Ali Thabet, Bernard Ghanem
CNN简介 文末附三份深度学习视频资源 后台回复关键词（20180310） 目录： 一些视频资源和文章 CNN简介 图像即四维张量？ 卷积的定义 CNN如何工作 最大池化与降采样 交流层 一些资源 卷积网络对图像进行物体辨识，可识别人脸、人类个体、道路标志、茄子、鸭嘴兽以及视觉数据中诸多其他方面的内容。卷积网络与运用光学字符辨识进行的文本分析有重合之处，但也可用于对离散文本单元以及声音形式的文本进行分析。 卷积网络（ConvNets）在图像辨识上的效能，是如今全球对深度学习产生兴趣的重要原因。卷积网络正推动
选自arXiv 作者：Yoav Levine等 机器之心编译 参与：吴攀 深度学习和量子物理是两个看似关联很小的领域，但研究者还是找到了它们之间的共同之处。近日，耶路撒冷希伯来大学的几位研究者的一篇论
腾讯 AI Lab 和清华大学的这项研究表明，图神经网络无法做深由两个原因造成：过拟合 (Overfitting) 和过平滑（Oversmoothing）。为了解决这两个问题，文章提出了一种简洁但非常有效的方法：随机删边技术，DropEdge，极大提升了超深图卷积网络的训练效率和节点分类效果。值得注意的是，文章投稿到 openreview 的时候就引来了众多研究同行的关注。文章正式被接收后，图灵奖获得者 Yoshua Bengio 的团队成员 Petar Veličković（注意力图网络 GAT 的发明者）在 openreview 平台上也给与了关注与好评。
一：VGG介绍与模型结构 VGG全称是Visual Geometry Group属于牛津大学科学工程系，其发布了一些列以VGG开头的卷积网络模型，可以应用在人脸识别、图像分类等方面，分别从VGG16～VGG19。VGG研究卷积网络深度的初衷是想搞清楚卷积网络深度是如何影响大规模图像分类与识别的精度和准确率的，最初是VGG-16号称非常深的卷积网络全称为（GG-Very-Deep-16 CNN），VGG在加深网络层数同时为了避免参数过多，在所有层都采用3x3的小卷积核，卷积层步长被设置为1。VGG的输入被设置
马毅老师曾说过:”如果你没有看过近30年的经典论文,你是做不出成果的”.现如今深度学习如此火热,一些关键节点发布的文章更应该好好的阅读,因此我想在未来的一段时间内去阅读一些经典的论文,去推敲和分析,并且争取可以使用TensorFlow去复现他.而这篇文章我们将会阅读VGG这篇经典文章,希望和大家交流,如果有理解不到位的地方,也请大家多多指正。
马毅老师曾说过:”如果你没有看过近30年的经典论文,你是做不出成果的”.现如今深度学习如此火热,一些关键节点发布的文章更应该好好的阅读,因此我想在未来的一段时间内去阅读一些经典的论文,去推敲和分析,并且争取可以使用TensorFlow去复现他.而这篇文章我们将会阅读VGG这篇经典文章,希望和大家交流,如果有理解不到位的地方,也请大家多多指正.
FAIR 的研究者提出了一种为卷积网络进行大规模端到端训练的聚类方法。他们证明了用聚类框架获得有用的通用视觉特征是可实现的。
本课程以 Python 为主要开发语言，深入浅出，快速上手深度学习技术。学习本课程：
卷积神经网络在 20 世纪 90 年代就已经被广泛应用，但深度学习卷土重来的第一功臣非卷积神经网络莫属，原因之一就是卷积神经网络是非常适合计算机视觉应用的模型。
在对卷积的含义有了一定的理解之后，我们便可以对CNN在最简单的计算机视觉任务图像分类中的经典网络进行探索。CNN在近几年的发展历程中，从经典的LeNet5网络到最近号称最好的图像分类网络EfficientNet，大量学者不断的做出了努力和创新。本讲我们就来梳理经典的图像分类网络。
VGG卷积神经网络是牛津大学在2014年提出来的模型。当这个模型被提出时，由于它的简洁性和实用性，马上成为了当时最流行的卷积神经网络模型。它在图像分类和目标检测任务中都表现出非常好的结果。在2014年的ILSVRC比赛中，VGG 在Top-5中取得了92.3%的正确率。同年的冠军是googlenet。
AI 科技评论按：自从深度学习在各项任务中频频取得佳绩、人工智能的研究员也越来越受追捧以来，许多人都加入了相关领域开始工作或者学习。不过，除了元老级的教授和研究人员之外，恐怕多数后来者都不是特别清楚神经网络的干柴是如何被点燃成熊熊烈火的。 近日 Ian Goodfellow、François Chollet、Yann LeCun 等人就在推特上简单讨论了「深度学习是怎么火起来的？应该归功给谁？」雷锋网 AI 科技评论把他们的讨论内容整理如下。 Ian Goodfellow 「GANs 之父」、谷歌大脑高级
预训练的卷积神经网络，或称卷积网络，已经成为大多数计算机视觉应用的基础构建模块 [1,2,3,4]。它们能提取极好的通用特征，用来提高在有限数据上学习的模型的泛化能力 [5]。大型全监督数据集 ImageNet[6] 的建立促进了卷积网络的预训练的进展。然而，Stock 和 Cisse [7] 最近提出的经验证据表明，在 ImageNet 上表现最优的分类器的性能在很大程度上被低估了，而且几乎没有遗留错误问题。这在一定程度上解释了为什么尽管近年来出现了大量新架构，但性能仍然饱和 [2,8,9]。事实上，按照今天的标准，ImageNet 是相对较小的；它「仅仅」包含了一百万张涵盖各个领域的分类图片。所以建立一个更大更多样化，甚至包含数十亿图片的数据集是顺理成章的。而这也将需要大量的手工标注，尽管社区多年来积累了丰富的众包专家知识 [10]，但通过原始的元数据代替标签会导致视觉表征的偏差，从而产生无法预测的后果 [11]。这就需要在无监督的情况下对互联网级别的数据集进行训练的方法。
【导语】目前，深度卷积（Depthwise convolution）在追求高性能的卷积网络中的应用变得越来越流行，但很多研究忽略了其内核大小的影响。在本文中，作者系统地研究了不同内核大小的影响，并发现将多种内核大小的优势结合在一起可以带来更高的准确性和性能。基于此观察，作者提出了一种新的混合深度卷积（Mixed Depthwise Convolution, MDConv），它自然地在单个卷积中混合了多个内核大小。作为普通深度卷积的一种简单替代，本文的MDConv提升了现有MobileNet在ImageNet图像分类和COCO目标检测方面的准确性和性能。
来源: SigAI 作者: AI学习与实践平台 导言 在机器视觉和其他很多问题上，卷积神经网络取得了当前最好的效果，它的成功促使我们思考一个问题，卷积神经网络为什么会这么有效？在本文中，SIGAI将为大家分析卷积神经网络背后的奥秘。 思想起源 在各种深度神经网络结构中，卷积神经网络是应用最广泛的一种，它由LeCun在1989年提出[1]。卷积神经网络在早期被成功应用于手写字符图像识别[1][2][3]。2012年更深层次的AlexNet网络[4]取得成功，此后卷积神经网络蓬勃发展，被广泛用于各个领域，在很多
深度卷积神经网络（CNN）是深度学习成功的关键。基于 CNN 的架构在计算机视觉、语音识别、自然语言处理以及最近的围棋博弈等多个领域取得了前所未有的准确率。
作为 Facebook 人工智能部门主管， Yann LeCun 是 AI 领域成绩斐然的大牛，也是行业内最有影响力的专家之一。 近日，LeCun在卡内基梅隆大学机器人研究所进行了一场 AI 技术核心问题与发展前景的演讲。他在演讲中提到三点干货： 1. 无监督学习代表了 AI 技术的未来。 2. 当前 AI 应用的热点集中在卷积神经网络。 3. 用模拟器提高无监督学习的效率是大势所趋。 演讲完整视频如下。该视频长 75 分钟，并包含大量专业术语，因此雷锋网节选关键内容做了视频摘要，以供读者浏览。 以下
在机器视觉和其他很多问题上，卷积神经网络取得了当前最好的效果，它的成功促使我们思考一个问题，卷积神经网络为什么会这么有效？在本文中，SIGAI将为大家分析卷积神经网络背后的奥秘。
选自arXiv 机器之心编译 参与：黄小天、路雪、蒋思源 近日南洋理工大学研究者发布了一篇描述卷积网络数学原理的论文，该论文从数学的角度阐述整个卷积网络的运算与传播过程。该论文对理解卷积网络的数学本质非常有帮助，有助于读者「徒手」（不使用卷积API）实现卷积网络。 论文地址：https://arxiv.org/pdf/1711.03278.pdf 在该论文中，我们将从卷积架构、组成模块和传播过程等方面了解卷积网络的数学本质。读者可能对卷积网络具体的运算过程比较了解，入门读者也可先查看 Capsule 论文解
原文地址：https://www.cnblogs.com/DOMLX/p/9579461.html
深度学习在计算机图像识别上的应用非常成功。利用深度学习，我们能够对图片进行高精度识别，实现这一功能的，主要依靠神经网络中的一种分支，名为卷积网络。卷积网络与我们前面实现的网络不通之处在于，它可以直接接受多维向量，而我们以前实现的网络只能接收一维向量。 我们在开始时，实现了一个能够识别手写数字图片的网络，网络接收数据时，必须把一张28*28的灰度图转换为784长的一维向量。在深入解析卷积网络前，我们直接用代码将其实现出来，通过卷积网络实现手写数字识别功能，先获得一个感性认识，为后续的深入研究打下基础，我们看看
在该论文中，我们将从卷积架构、组成模块和传播过程等方面了解卷积网络的数学本质。读者可能对卷积网络具体的运算过程比较了解，入门读者也可先查看 Capsule 论文解读的第一部分了解详细的卷积过程，但其实我们一般并不会关注于卷积网络到底在数学上是如何实现的。因为各大深度学习框架都提供了简洁的卷积层API，所以我们不需要数学表达式也能构建各种各样的卷积层，我们最多只需要关注卷积运算输入与输出的张量维度是多少就行。这样虽然能完美地实现网络，但我们对卷积网络的数学本质和过程仍然不是太清楚，这也就是本论文的目的。
VGGNet于2014年提出，在文献VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION 中有详细介绍。
正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分，本次将详细介绍卷积神经网络中经典结构，小结部分将前述的基础理论篇的讲解链接附上，方便大家进行参考。
摘要：在机器视觉和其他很多问题上，卷积神经网络取得了当前最好的效果，它的成功促使我们思考一个问题，卷积神经网络为什么会这么有效？在本文中，将为大家分析卷积神经网络背后的奥秘。
近日，山东大学集成电路学院刘国洋助理研究员、周卫东教授团队提出了一种新型余弦卷积网络（CosCNN），并设计了相应的高效参数量化算法使其易于在FPGA中部署。研究结果表明所提出的余弦卷积网络能显著提高癫痫脑电检测的性能，且有望用于其它时间序列分析相关的深度学习模型中。相关成果以“Cosine Convolutional Neural Network and Its Application for Seizure Detection”为题发表在中科院一区Top期刊《Neural Networks》。山东大学集成电路学院为论文署名单位，刘国洋助理研究员为论文第一作者，周卫东教授为通讯作者。
在各种深度神经网络结构中，卷积神经网络是应用最广泛的一种，它由LeCun在1989年提出[1]。卷积神经网络在早期被成功应用于手写字符图像识别[1][2][3]。2012年更深层次的AlexNet网络[4]取得成功，此后卷积神经网络蓬勃发展，被广泛用于各个领域，在很多问题上都取得了当前最好的性能。
本文作者 猿辅导研究团队 猿辅导应用研究团队成立于2014年年中，一直从事深度学习在教育领域的应用和研究工作。团队成员均毕业于北京大学、清华大学、上海交大、中科院、中国香港大学等知名高校，大多数拥有硕士或博士学位。研究方向涵盖了图像识别、语音识别、自然语言理解、数据挖掘、深度学习等领域。团队成功运用深度学习技术，从零开始打造出活跃用户过亿的拍照搜题APP――小猿搜题，开源了分布式机器学习系统ytk-learn和分布式通信系统ytk-mp4j。此外，团队自主研发的一系列成果均成功应用到猿辅导公司的产品中。包括
efficientNet的论文原文链接：https://arxiv.org/pdf/1905.11946.pdf
随着深度学习的快速发展，传统的卷积神经网络（Convolutional Neural Networks, CNNs）在计算机视觉领域取得了巨大的成功。然而，对于一些涉及到时序和空间信息的任务，如视频分析、动作识别和人体姿态估计等，传统的CNNs存在一定的局限性。为了有效地处理这些时空信息，研究人员提出了一种新型的卷积神经网络模型，即时空卷积网络（Spatio-Temporal Convolutional Networks）。
论文链接：https://arxiv.org/pdf/2001.00335.pdf
卷积可能是目前深度学习中最重要的概念了。卷积和卷积网络是引发深度学习去完成几乎任何机器学习任务的最前沿地概念。但是什么使卷积这么强大？它是如何工作的？在这篇博客中，我将解释卷积，帮助你彻底了解卷积。这篇博客文章也会有很多数学细节，但我会从概念的角度来解释，这里面的基础数学每个人都应该能够理解。本博文的第一部分针对任何想要了解深度学习里卷积和卷积网络的一般概念的人。本博文的第二部分是高级概念，旨在进一步增强对深度学习研究人员和专家的卷积的理解。
事情是这样的：研究人员们让一个深度卷积网络去学习复制被破坏的图像（例如加入噪点的图像），随后竟发现这个网络可以自行先学会如何重建图像。该研究的论文《Deep Image Prior》已被收录在 CVPR 2018 大会，而 GitHub 则已有 3800 个 star。
首先，卷积网络认知图像的方式不同于人类。因此，在图像被卷积网络采集、处理时，需要以不同方式思考其含义。 卷积网络将图像视为体，也即三维物体，而非仅用宽度和高度测量的平面。这是因为，彩色数字图像具有红－绿－蓝（RGB）编码；通过将这三色混合，生成人类肉眼可见的色谱。卷积网络将这些图像作为彼此独立、逐层堆叠的三层色彩进行收集。 故而，卷积网络以矩形接收正常色彩的图像。这一矩形的宽度和高度由其像素点进行衡量，深度则包含三层，每层代表RGB中的一个字母。这些深度层被称为通道。 我们以输入量和输出量来描述经过卷积网络
【新智元导读】本文中介绍的深度学习架构能够基于选定的人的身份、情绪和方位，生成真实的脸部图像。你只要给网络提供你希望描绘的东西的原始参数，模型就能完成，但是生成的结果却是十分有趣的。 网络本身看起来能学习3D空间的概念，以及它所描绘的物体结构。并且，由于它生成的是图像而不是数字，所以它也让我们更好地理解了这一网络是如何“思考”的。真正让人惊讶的是，它似乎在根据嘴部张开或者关闭来学习脸部特征，你能看到脸颊的移动、眼球的移动等等。未来，你可以使用这一模型来模拟复杂的表情和变化。 Flynn Michael：我最
https://proceedings.icml.cc/static/paper_files/icml/2020/1185-Paper.pdf
关于全连接神经网络（Full Connected Neural Network，FC）的讨论已经说的不少了，本篇将要介绍的是，从2006年至今的神经网络第三次浪潮中，取得巨大成功、处于最核心位置的技术
作者：蒋思源 卷积神经网络架构一直是计算机视觉领域的研究重点，很多分类、检测和分割等任务都依赖于基本架构提供更好的性能。本文先概览了经典的卷积网络架构及它们的优缺点，其次重点分析了 CVPR 去年的最佳论文 DenseNet 与今年北大等研究机构提出的 CliqueNet，这篇论文接收为 CVPR 2018 的 Orals/Spotlights。 近日，微软亚洲研究院主办了一场关于 CVPR 2018 中国论文分享会，机器之心在分享会中发现了一篇非常有意思的论文，它介绍了一种新型卷积网络架构，并且相比于
深度学习，目标检测，图像，智能驾驶 编译：牛喀网-钱伟 前言 本篇关注基础网络架构的演进和处理分类、定位这一矛盾问题上的进展。 基础网络结构的演进 基础网络（Backbone network）作为特征提取器，对检测模型的性能有着至关重要的影响。在分类任务的权威评测集ImageNet上，基于卷积网络的方法已经取得超越人类水平的进步，并也促使ImageNet完成了她的历史使命。这也是机器视觉领域的整体进步，优秀的特征、深刻的解释都为其他任务的应用提供了良好的基础。在本节中，我们选取了几个在检测任务
研究表明，如果卷积网络在接近输入和接近输出地层之间包含较短地连接，那么，该网络可以显著地加深，变得更精确并且能够更有效地训练。该论文基于这个观察提出了以前馈地方式将每个层与其它层连接地密集卷积网络(DenseNet)
Kaggle近期举办了一场 关于CIFAR-10数据集的竞赛，该数据集包含有6万个32*32的彩色图像，共分为10种类型，由 Alex Krizhevsky, Vinod Nair和 Geoffrey
通过有效的参数共享方式，卷积神经网络可以在保证模型的性能大量地减少模型参数，并因此逐渐发展成了深度学习的一个重要分支。自从2012年以来，大量的新型卷积神经网络结构被提出来解决实际中遇到的问题，并在计算机视觉领域（图像和视频）中取得了重大的成就。在实际中，除了图像和视频等处于欧几里得空间的数据之外，更多的数据是处于非欧几里得空间的，例如社交网络中的关系数据、三维点云数据、分子结构数据、基因数据和交通数据等等。由于局部输入的无序性和维度的可变性，传统卷积网络很难处理这种处于非欧几里得空间的数据。为此，我们一般化了传统卷积操作，使得新的卷积神经网络可以应用到一般结构的数据上，而不是仅局限于处理欧几里得空间的数据。
文本分类（Text classification）描述了一类常见的问题，比如预测推文（Tweets）和电影评论的情感，以及从电子邮件中区分出垃圾邮件。
大数据文摘作品，转载要求见文末 作者 | Thimira Amaratunga 编译 | 宁云州、吴双、张伯楠 【深度学习】这个几年前还鲜为人知的术语，近期迅速蹿红，成为人尽皆知的大IP。不过在火起来之前，这个技术已经发展了十几年。人尽皆知前，深度学习是如何一步一步自我演化并走进公众视野的？ 1998年，Yann LeCun 发表Gradient-Based Learning Applied to Document Recognition，至今，深度学习已经发展了十几年了。以大家熟知的CNNs为代表的技术在
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
