开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

将密集输出添加到卷积输出

是指在卷积神经网络（Convolutional Neural Network, CNN）中，将全连接层的输出添加到卷积层的输出中，以提高网络的性能和表达能力。

在传统的CNN中，卷积层通常用于提取图像的特征，而全连接层用于对这些特征进行分类或回归。然而，由于全连接层的参数量较大，容易导致过拟合问题。为了解决这个问题，可以将全连接层替换为全局平均池化层或者使用1x1卷积层来减少参数量。

而将密集输出添加到卷积输出的方法则是在全连接层之前添加一个1x1卷积层，将其输出与卷积层的输出相加。这样做的好处是可以保留卷积层的特征提取能力，同时增加了网络的非线性表达能力。通过这种方式，可以在保持网络结构简单的同时提高网络的性能。

这种方法在一些经典的网络结构中得到了广泛应用，例如ResNet和DenseNet。在ResNet中，将密集输出添加到卷积输出的方法被称为残差连接，可以有效地解决梯度消失和梯度爆炸的问题。在DenseNet中，将密集输出添加到卷积输出的方法被称为密集连接，可以增加网络的信息流动性，提高特征的重用性。

在实际应用中，将密集输出添加到卷积输出的方法可以用于各种图像分类、目标检测和语义分割等任务。通过增加网络的非线性表达能力，可以提高模型的准确性和泛化能力。

腾讯云相关产品和产品介绍链接地址：

腾讯云AI智能图像处理：https://cloud.tencent.com/product/aiimageprocess
腾讯云AI智能视频处理：https://cloud.tencent.com/product/aivideo
腾讯云AI智能语音处理：https://cloud.tencent.com/product/aiaudio
腾讯云AI智能文本处理：https://cloud.tencent.com/product/aitext
腾讯云AI智能人脸识别：https://cloud.tencent.com/product/faceid
腾讯云AI智能语音识别：https://cloud.tencent.com/product/asr
腾讯云AI智能机器翻译：https://cloud.tencent.com/product/tmt
腾讯云AI智能语音合成：https://cloud.tencent.com/product/tts
腾讯云AI智能自然语言处理：https://cloud.tencent.com/product/nlp

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

DenseNet 论文阅读笔记

研究表明，如果卷积网络在接近输入和接近输出地层之间包含较短地连接，那么，该网络可以显著地加深，变得更精确并且能够更有效地训练。该论文基于这个观察提出了以前馈地方式将每个层与其它层连接地密集卷积网络(DenseNet)

02

TF图层指南：构建卷积神经网络

本文介绍了如何利用TensorFlow搭建一个简单的CNN模型来识别MNIST数据集中的手写数字。首先，介绍了CNN模型的基本原理和TensorFlow中的Keras API。然后，使用MNIST数据集训练了一个具有卷积层和全连接层的CNN模型。最后，通过在测试集上评估模型的性能，得到了97.3%的准确率。

05

无需复杂的数学描述，通过简单代码理解卷积模块

我会尽力定期阅读与机器学习和人工智能相关的论文。这是紧跟最新进展的唯一方法。作为一位计算机科学家，当阅读科研文本或公式的数学概念时，我常常碰壁。我发现直接用平实的代码来理解要容易得多。所以在这篇文章中，我希望带你了解一些精选的用 Keras 实现的最新架构中的重要卷积模块。

03

南开 & VIVO 提出MLoRE | 一种解码器中心的低秩专家混合多任务学习框架！

计算机视觉任务，如语义分割[5, 30, 33, 55]和深度估计[2, 38]，已经通过深度学习技术得到了显著促进。每个视觉任务都有其精细的深度模型，这些模型通常遵循类似的流程，即特征提取和预测。此外，一些任务之间也共享关系。这些事实激励研究者研究多任务学习（MTL），这种学习能够将不同的任务模型统一到单一模型中。多任务学习的主要优势在于，在保持每个任务模型性能相当的同时，能够提高训练和推理的效率。由于这一优势，MTL模型已经被应用于包括自动驾驶[24, 29, 56]和场景理解[50, 52]在内的多个方向。

01

港中文、MIT 联合工作：利用NAS搜索针对对抗攻击的鲁棒神经网络结构

本文解读的是 CVPR 2020 论文《When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks》，作者来自香港中文大学、MIT。

01

可变形卷积网络 | Deformable Network

视觉识别的关键挑战是如何在对象比例、姿势等形变问题上适应几何变化或对几何转换建模。一般情况下有以下两种方法：

02

学界 | ImageNet 2017目标定位冠军论文：双路径网络

选自arXiv 作者：Yunpeng Chen等机器之心编译参与：蒋思源、Smith 最后一届 ImageNet 挑战赛刚刚落下帷幕，而新加坡国立大学参与的三个团队都凭借着双路径网络（DPN）获得

07

深度学习检测心脏心律不齐

最近正在审查Andrew Ng的团队在使用卷积神经网络（CNN）的心律不齐检测器上的工作。发现这尤其令人着迷，尤其是随着可穿戴产品（例如Apple Watch和便携式EKG机器）的出现，它们能够在家中监测心脏。因此很好奇如何构建可以检测异常心跳的机器学习算法。在这里，将使用ECG信号（对心脏进行连续电测量）并训练3个神经网络来预测心脏心律不齐：密集神经网络，CNN和LSTM。

01

Transformer崛起| TopFormer打造Arm端实时分割与检测模型，完美超越MobileNet!

为了使ViT适应各种密集的预测任务，最近的ViTs，如PVT、CvT、LeViT以及MobileViT都采用了分层结构，类似的操作也用于卷积神经网络(CNNs)，如AlexNet和ResNet。这些ViTs将全局自注意力及其变体应用到高分辨率Token上，由于Token数量的二次复杂度，这带来了巨大的计算成本。

02

理解并实现 ResNet（Keras）

ResNet 是残差网络(Residual Network)的缩写，是一种作为许多计算机视觉任务主干的经典神经网络。这个模型是2015年ImageNet挑战赛的获胜者，ResNet最根本的突破在于它使得我们可以训练成功非常深的神经网路，如150+层的网络。在ResNet之前，由于梯度消失(vanishing gradients)的问题，训练非常深的神经网络是非常困难的。

04

GoogleNet_google翻译学术论文

我们在ImageNet大规模视觉识别挑战赛2014（ILSVRC14）上提出了一种代号为Inception的深度卷积神经网络结构，并在分类和检测上取得了新的最好结果。这个架构的主要特点是提高了网络内部计算资源的利用率。通过精心的手工设计，我们在增加了网络深度和广度的同时保持了计算预算不变。为了优化质量，架构的设计以赫布理论和多尺度处理直觉为基础。我们在ILSVRC14提交中应用的一个特例被称为GoogLeNet，一个22层的深度网络，其质量在分类和检测的背景下进行了评估。

05

GoogleNet论文笔记/小结

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details/81710799

03

即插即用注意力机制 | ResNet50+DSA注意力还可以再挣扎挣扎！！！

卷积神经网络（CNNs）在结构上设计用于通过应用卷积核实现的卷积滤波器来利用局部空间层次。尽管这使得它们在涉及局部空间模式的任务上既高效又有效，但其固有的设计限制了它们的感受野，可能会阻碍不在内核边界内的相关信息的全面集成。

02

DSSD : Deconvolutional Single Shot Detector

本文的主要贡献是将附加上下文引入到最先进的一般目标检测中。为了实现这一点，我们首先结合了一个最先进的分类器和一个快速检测框架。然后，我们使用反褶积层来增加SSD+Residual-101，以在目标检测中引入额外的大规模上下文，并提高准确性，特别是对于小目标，我们将生成的系统DSSD称为反卷积单阶段检测器。虽然这两个贡献很容易在高层进行描述，但是一个简单的实现是不会成功的。相反，我们展示了仔细添加额外的学习转换阶段，特别是反褶积中的前馈连接模块和一个新的输出模块，使这种新方法成为可能，并为进一步的检测研究形成了一个潜在的前进道路。结果表明，PASCAL VOC和COCO 检测。我们的513×513输入的DSSD在VOC2007测试中实现了81.5%的mAP，在VOC 2012测试中实现了80.0%的mAP，在COCO上实现了33.2%的mAP，在每个数据集上都优于目前最先进的R-FCN方法。

03

学界 | 伯克利联合OpenAI发布新型深度学习方法TCML：学习通用型算法

选自arXiv 机器之心编译参与：Smith 快速学习的能力是区分人类智能和人工智能的关键特征。人类可以有效地利用先验知识和经验来快速学习新的技能。然而，用传统的监督式学习或强化学习方法进行训练的人

06

【PointCNN全面刷新测试记录】山东大学提出通用点云卷积框架

来源：arXiv 编辑：克雷格【新智元导读】山东大学李扬彦、卜瑞、孙铭超、陈宝权研究团队近日研究提出的PointCNN是简单通用的点云特征学习架构，基于这一方法一组神经网络模型一举刷新了五个点云基准测试的记录。论文地址：https://arxiv.org/abs/1801.07791 由山东大学提出的PointCNN是一个简单通用的点云特征学习架构。基于这一方法的一组神经网络模型一举刷新了五个点云基准测试的记录。 CNN成功的关键在于其卷积操作能够很好地从基于规则域表示的数据中提取局部信息。然而，由于点

07

卷积自编码器中注意机制和使用线性模型进行超参数分析

新神经网络架构设计的最新进展之一是注意力模块的引入。首次出现在在NLP 上的注意力背后的主要思想是为数据的重要部分添加权重。在卷积神经网络的情况下，第一个注意机制是在卷积块注意模型中提出的。其中注意机制分为两个部分:通道注意模块和空间注意模块。

02

【深度学习 | ResNet核心思想】残差连接 & 跳跃连接：让信息自由流动的神奇之道

跳跃连接指的是将输入数据直接添加到网络某一层输出之上。这种设计使得信息可以更自由地流动，并且保留了原始输入数据中的细节和语义信息。使信息更容易传播到后面的层次，避免了信息丢失。跳跃连接通常会通过求和操作或拼接操作来实现。

03

显著提高Transformer在小规模数据集的性能，特伦托大学&腾讯提出新的损失函数，涨点显著！(NeurIPS2021)

本文分享 NeurIPS 2021 论文『Efﬁcient Training of Visual Transformers with Small-Size Datasets』，由特伦托大学&腾讯联合提出新的损失函数，复现简单，可显著提高Transformer在小规模数据集上的性能，最高涨45%的精度！

02

代替Mask R-CNN，BlendMask欲做实例预测任务的新基准？

作者 | Hao Chen、Kunyang Sun、Zhi Tian、Chunhua Shen、Yongming Huang、Youliang Yan

02

通过简单代码回顾卷积块

我会努力定期去阅读机器学习和人工智能相关的论文。这也是能够持续跟进最新进展的唯一途径。作为一名计算机科学家，我经常在翻阅科学描述文本或者公式的数学符号时碰壁。我发现在普通代码中理解它要容易的多。因此在本文中，我想引导你通过 Keras 实现精选的最新架构的重要卷积块。

04

【深度学习 | ResNet核心思想】残差连接 & 跳跃连接：让信息自由流动的神奇之道

🙋‍♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）

03

谷歌提出TVN视频架构 | 单CPU处理1s视频仅需37ms、GPU仅需10ms

为了解视频领域的问题，Google机器人团队提出：用进化算法自动设计出以原来计算成本的一部分提供相当性能的网络。

03

CVPR2020 | BidNet：在双目图像上完成去雾操作，不用视差估计

论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Pang_BidNet_Binocular_Image_Dehazing_Without_Explicit_Disparity_Estimation_CVPR_2020_paper.pdf

01

【干货】一文读懂什么是变分自编码器

【导读】本文是工程师Irhum Shafkat的一篇博文，主要梳理了变分自编码器的相关知识。我们知道，变分自编码器是一种生成模型，在文本生成、图像风格迁移等诸多任务中有显著的效果，那么什么是变分自编码

语义分割和转置卷积

分割对图像分析是必不可少的。语义分割描述了每个像素与类别标记的关联过程，（例如：花朵、人物、道路、天空、海洋、或者汽车）。

02

论文推荐：CCNet用于语义分割的交叉注意力

CCNet， Transformer递归交叉自注意力，比非局部神经网络更有效。华中科技大学、地平线、ReLER 和伊利诺伊大学香槟分校联合研发

02

BIB | APPTEST：深度学习方法与传统的NMR结构测定方法相结合，预测肽的三级结构

今天给大家介绍都柏林大学的Patrick Brendan Timmons 和Chandralal M. Hewage在Briefings in Bioinformatics上发表的文章“APPTEST is a novel protocol for the automatic prediction of peptide tertiary structures”充分了解肽的三级结构对于理解其功能及其与生物靶点的相互作用很重要。作者在文章中报告了一种新的算法APPTEST，它采用神经网络结构和模拟退火方法从一级序列预测肽的三级结构。APPTEST适用于5-40个天然氨基酸的线性肽和环状肽，并且它计算效率很高，可以在几分钟内返回预测的结构。作者团队对一组356个测试肽上进行了附加性能评估；每个肽的最佳结构偏离实验确定的主干构象平均为1.9 Å，97%的目标序列预测为天然或接近天然结构。在短、长和循环肽的基准数据集中，与PEP-FOLD、PEPStRMOD和PepLook的性能比较表明，APPTEST产生的结构平均比现有方法更符合原生结构。

01

基于深度学习的特征提取和匹配

计算机视觉需要图像预处理，比如特征提取，包括特征点，边缘和轮廓之类。以前做跟踪和3-D重建，首先就得提取特征。特征点以前成功的就是SIFT/SURF/FAST之类，现在完全可以通过CNN模型形成的特征图来定义。

03

目标检测新框架：大幅度提升检测精度

密集物体检测器依赖于滑动窗口范式，可以在规则的图像网格上预测物体。同时，采用网格点上的特征图来生成边界框预测。点特征使用方便，但可能缺乏精确定位的明确边界信息。

02

YOLO系列的落地 | YOLOv7+注意力机制在农业上的应用

随着技术的发展，监控设备在农业中发挥着巨大的作用。有多种方法可以监测个体动物的行为，例如插入芯片记录生理数据、使用可穿戴传感器和（热）成像技术。一些方法使用附着在鸟类脚上的可穿戴传感器来测量它们的活动，但这可能会对受监测的动物产生额外影响。特别是，在商业环境中，技术限制和高成本导致这种方法的可行性低。

02

Going Deeper with Convolutions——GoogLeNet论文翻译——中文版

00

基于深度学习的特征提取和匹配

计算机视觉需要图像预处理，比如特征提取，包括特征点，边缘和轮廓之类。以前做跟踪和3-D重建，首先就得提取特征。特征点以前成功的就是SIFT/SURF/FAST之类，现在完全可以通过CNN模型形成的特征图来定义。

04

26 fps 的视频超分辨率模型 DAP！在线输出720P视频

论文：https://arxiv.org/pdf/2202.01731v1.pdf

02

五种即插即用的视觉注意力模块

SE注意力模块的全称是Squeeze-and-Excitation block、其中Squeeze实现全局信息嵌入、Excitation实现自适应权重矫正，合起来就是SE注意力模块。

02

激光雷达深度补全

对于自动驾驶汽车和机器人，使用激光雷达是必不可少的，以实现精确的深度预测。许多应用程序依赖于周围环境的意识，并使用深度信息来推理和做出相应的反应。一方面，单目深度预测方法无法生成绝对和精确的深度图。另一方面，双目立体匹配方法仍然明显优于基于LiDAR的方法。深度补全任务的目标是从稀疏和不规则点云生成密集的深度预测，然后将预测的深度信息映射到2D平面。最近有一些优秀的工作，提出了一种精确完成RGB图像引导的稀疏LiDAR图的新方法。

03

YOLO系列改进 | YOLOF的小小改进升级之轻量化TE-YOLOF

显微图像中的血细胞分析通过识别不同的细胞对象在疾病识别领域中起着至关重要的作用。在血细胞领域，血液中有三种重要成分：白细胞（WBC）、红细胞（RBC）和血小板。这些血细胞的比例和数量严重影响医生对疾病的判断。因此，找到一种基于深度卷积神经网络的目标检测算法来准确高效地检测血细胞，可以提高医疗系统的效率。

03

Transformer的潜在竞争对手QRNN论文解读，训练更快的RNN

使用递归神经网络（RNN）序列建模业务已有很长时间了。但是RNN很慢因为他们一次处理一个令牌无法并行化处理。此外，循环体系结构增加了完整序列的固定长度编码向量的限制。为了克服这些问题，诸如CNN-LSTM，Transformer，QRNNs之类的架构蓬勃发展。

03

单CPU处理1s视频仅需37ms、GPU仅需10ms，谷歌提出TVN视频架构

视频理解是计算机视觉领域中的重要问题，它有很多应用，如视频自动标注、行为识别和机器人感知。视频理解对自动智能体在现实世界中的应用有重大影响，目前它仍是一道难题。现有的解决方案计算成本高昂，最快速的算法需要在强大的 GPU 上运行才能处理超过 0.5 秒的视频片段。

02

单CPU处理1s视频仅需37ms、GPU仅需10ms，谷歌提出TVN视频架构

视频理解是计算机视觉领域中的重要问题，它有很多应用，如视频自动标注、行为识别和机器人感知。视频理解对自动智能体在现实世界中的应用有重大影响，目前它仍是一道难题。现有的解决方案计算成本高昂，最快速的算法需要在强大的 GPU 上运行才能处理超过 0.5 秒的视频片段。

00

深度学习系列（五）分割网络模型（DeepLab V1、V2、V3、V3+、PSPNet)

深度学习系列（五）分割网络模型（DeepLab V1、DeepLab V2、PSPNet、DeepLab V3、DeepLab V3+)

03

任何方向都高度准确，上交、旷视联合提出最强旋转目标检测器R3Det

旋转目标检测是一项有挑战性的任务，因为难以定位多角度物体并且与背景准确和快速的分离。虽然已经取得了长足的进步，但在实际设置中，对于大宽高比，密集分布和类别不平衡的旋转目标检测仍然存在困难。

05

来聊聊COCO数据集上两大霸榜模型-CBNet和DetectoRS

【导读】今天我们来聊一聊在COCO数据集上成功刷榜的两大模型-CBNet和DetectoRS。它们先后刷新了COCO 数据集上的单模型目标检测精度的最高记录：单尺度测试CBNet—50.7AP和DetectoRS—53.3AP，多尺度测试CBNet—53.3AP和DetectoRS—54.7AP。

02

深度学习500问——Chapter08：目标检测（4）

我们将对单次目标检测器（包括SSD系列和YOLO系列等算法）进行综述。我们将分析FPN以理解多尺度特征图如何提高准确率，特别是小目标的检测，其在单次检测器中的检测效果通常很差。然后我们将分析Focal loss和RetinaNet，看看它们是如何解决训练过程中的类别不平衡问题的。

01

8 篇论文深入学习深度估计：深度预测；自我运动学习；观看冰雪奇缘了解移动人物深度

原文标题：Research Guide for Depth Estimation with Deep Learning

02

什么是CNN？写给小白的机器学习入门贴，Facebook员工打造，47k访问量

那是因为在图像分类时，面临着图像大，物体的形态、位置不同等问题，这就给普通的神经网络带来了难题。

02

GoogleNet_我和我的祖国论文摘要

这是GoogLeNet的最早版本，出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。

08

基于深度学习的图像语义分割算法综述

本文翻译自An overview of semantic image segmentation，原作者保留版权。

04

33卷积+13卷积+3*1卷积=白给的精度提升

下面要介绍的论文发于ICCV2019，题为「ACNet:Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric ConvolutionBlocks」，axriv地址为：https://arxiv.org/abs/1908.03930v1。

03

33卷积+13卷积+3*1卷积=白给的精度提升

下面要介绍的论文发于ICCV2019，题为「ACNet:Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric ConvolutionBlocks」，axriv地址为：https://arxiv.org/abs/1908.03930v1。

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭