阅读笔记-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

阅读笔记

专栏成员

8

文章

13515

阅读量

7

订阅数

Softmax，Softmax loss&Cross entropy

这张图的等号左边部分就是全连接层做的事，W是全连接层的参数，我们也称为权值，X是全连接层的输入，也就是特征。从图上可以看出特征X是N*1的向量，这是怎么得到的呢？这个特征就是由全连接层前面多个卷积层和池化层处理后得到的，假设全连接层前面连接的是一个卷积层，这个卷积层的输出是100个特征（也就是我们常说的feature map的channel为100），每个特征的大小是4*4，那么在将这些特征输入给全连接层之前会将这些特征flat成N*1的向量（这个时候N就是100*4*4=1600）。解释完X，再来看W，W是全连接层的参数，是个T*N的矩阵，这个N和X的N对应，T表示类别数，比如你是7分类，那么T就是7。我们所说的训练一个网络，对于全连接层而言就是寻找最合适的W矩阵。因此全连接层就是执行WX得到一个T*1的向量（也就是图中的logits[T*1]），这个向量里面的每个数都没有大小限制的，也就是从负无穷大到正无穷大。然后如果你是多分类问题，一般会在全连接层后面接一个softmax层，这个softmax的输入是T*1的向量，输出也是T*1的向量（也就是图中的prob[T*1]，这个向量的每个值表示这个样本属于每个类的概率），只不过输出的向量的每个值的大小范围为0到1。

2018-12-25

7210

机器学习神经网络深度学习人工智能

SVM（Support Vector Machine）要解决的问题可以用一个经典的二分类问题加以描述。

2018-12-25

6980

基追踪降噪（Basis Pursuit De-Noising, BPDN）

等号两边都有x，需要进一步分情况讨论，推导过程见https://www.cnblogs.com/wlzy/p/7966525.html

2018-12-17

2.5K0

所有的RNN均具有一种重复神经网络模块的链式形式，在标准的RNN中，通常重复模块是一个非常简单的结构，eg：只含有一个tanh层。

2018-12-03

1.2K0

梯度下降法（BGD & SGD & Mini-batch SGD）

优化思想：用当前位置的负梯度方向作为搜索方向，亦即为当前位置下降最快的方向，也称“最速下降法”。越接近目标值时，步长越小，下降越慢。

2018-12-02

4K0

近几年Facial Expression Recognition相关文章

（1）Facial Expression Recognition by De-expression Residue Learning

2018-11-24

1.5K0

CVRP 2017|DLP-CNN & center loss & Island loss

面部表情识别很大程度上依赖于定义好的数据集，然而这样的数据集往往存在着很多的限制。现有的面部表情数据集往往在严格控制的实验条件下，受试者和测试环境均不具有多样性。受试者被要求按照统一的方式表达感情。

2018-11-19

2.1K0

CVPR 2018|Best paper: Taskonomy 学习笔记

Taskonomy通过量化不同视觉任务之间的关联、并利用这些关联最优化学习策略。（如果两视觉任务A,B之间具有关联性，那么我们在A中学习到的表达理应可以为解决任务B 提供有效的统计信息）

2018-11-18

8340

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态