前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【python实现卷积神经网络】Dropout层实现

【python实现卷积神经网络】Dropout层实现

作者头像
西西嘛呦
发布2020-08-26 11:00:48
发布2020-08-26 11:00:48
1K00
代码可运行
举报
运行总次数:0
代码可运行

代码来源:https://github.com/eriklindernoren/ML-From-Scratch

卷积神经网络中卷积层Conv2D(带stride、padding)的具体实现:https://cloud.tencent.com/developer/article/1686529

激活函数的实现(sigmoid、softmax、tanh、relu、leakyrelu、elu、selu、softplus):https://cloud.tencent.com/developer/article/1686496

损失函数定义(均方误差、交叉熵损失):https://cloud.tencent.com/developer/article/1686498

优化器的实现(SGD、Nesterov、Adagrad、Adadelta、RMSprop、Adam):https://cloud.tencent.com/developer/article/1686499

卷积层反向传播过程:https://cloud.tencent.com/developer/article/1686503

全连接层实现:https://cloud.tencent.com/developer/article/1686504

批量归一化层实现:https://cloud.tencent.com/developer/article/1686506

池化层实现:https://cloud.tencent.com/developer/article/1686507

padding2D实现:https://cloud.tencent.com/developer/article/1686509

Flatten层实现:https://cloud.tencent.com/developer/article/1686511

上采样层UpSampling2D实现:https://cloud.tencent.com/developer/article/1686515

代码语言:javascript
代码运行次数:0
运行
复制
class Dropout(Layer):
    """A layer that randomly sets a fraction p of the output units of the previous layer
    to zero.
    Parameters:
    -----------
    p: float
        The probability that unit x is set to zero.
    """
    def __init__(self, p=0.2):
        self.p = p
        self._mask = None
        self.input_shape = None
        self.n_units = None
        self.pass_through = True
        self.trainable = True

    def forward_pass(self, X, training=True):
        c = (1 - self.p)
        if training:
            self._mask = np.random.uniform(size=X.shape) > self.p
            c = self._mask
        return X * c

    def backward_pass(self, accum_grad):
        return accum_grad * self._mask

    def output_shape(self):
        return self.input_shape

核心就是生成一个随机失活神经元的遮罩。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-04-17 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档