Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >tensorflow学习笔记(八):dropout

tensorflow学习笔记(八):dropout

作者头像
ke1th
发布于 2019-05-26 04:27:41
发布于 2019-05-26 04:27:41
56900
代码可运行
举报
运行总次数:0
代码可运行

我们都知道dropout对于防止过拟合效果不错 dropout一般用在全连接的部分,卷积部分一般不会用到dropout,输出曾也不会使用dropout,适用范围[输入,输出)

  1. tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None)
  2. tf.nn.rnn_cell.DropoutWrapper(rnn_cell, input_keep_prob=1.0, output_keep_prob=1.0)

普通dropout

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
def dropout(x, keep_prob, noise_shape=None, seed=None, name=None)
#x: 输入
#keep_prob: 名字代表的意思, keep_prob 参数可以为 tensor,意味着,训练时候 feed 为0.5,测试时候 feed 为 1.0OK。 
#return:包装了dropout的x。训练的时候用,test的时候就不需要dropout了
#例:
w = tf.get_variable("w1",shape=[size, out_size])
x = tf.placeholder(tf.float32, shape=[batch_size, size])
x = tf.nn.dropout(x, keep_prob=0.5)
y = tf.matmul(x,w)

rnn中的dropout

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
def rnn_cell.DropoutWrapper(rnn_cell, input_keep_prob=1.0, output_keep_prob=1.0):
#例
lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(size, forget_bias=0.0, state_is_tuple=True)
lstm_cell = tf.nn.rnn_cell.DropoutWrapper(lstm_cell, output_keep_prob=0.5)
#经过dropout包装的lstm_cell就出来了
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016年10月22日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
tensorflow学习笔记(十六):rnn_cell.py
本文主要介绍一下 tensorflow.python.ops.rnn_cell 中的一些类和函数,可以为我们编程所用
ke1th
2019/05/26
8910
如何用 TensorFlow 实现基于 LSTM 的文本分类(附源码)
引言 学习一段时间的tensor flow之后,想找个项目试试手,然后想起了之前在看Theano教程中的一个文本分类的实例,这个星期就用tensorflow实现了一下,感觉和之前使用的theano还是
AI研习社
2018/03/29
1.5K0
如何用 TensorFlow 实现基于 LSTM 的文本分类(附源码)
基于LSTM的股票预测模型_python实现_超详细
近年来,股票预测还处于一个很热门的阶段,因为股票市场的波动十分巨大,随时可能因为一些新的政策或者其他原因,进行大幅度的波动,导致自然人股民很难对股票进行投资盈利。因此本文想利用现有的模型与算法,对股票价格进行预测,从而使自然人股民可以自己对股票进行预测。 理论上,股票价格是可以预测的,但是影响股票价格的因素有很多,而且目前为止,它们对股票的影响还不能清晰定义。这是因为股票预测是高度非线性的,这就要预测模型要能够处理非线性问题,并且,股票具有时间序列的特性,因此适合用循环神经网络,对股票进行预测。 虽然循环神经网络(RNN),允许信息的持久化,然而,一般的RNN模型对具备长记忆性的时间序列数据刻画能力较弱,在时间序列过长的时候,因为存在梯度消散和梯度爆炸现象RNN训练变得非常困难。Hochreiter 和 Schmidhuber 提出的长短期记忆( Long Short-Term Memory,LSTM)模型在RNN结构的基础上进行了改造,从而解决了RNN模型无法刻画时间序列长记忆性的问题。 综上所述,深度学习中的LSTM模型能够很好地刻画时间序列的长记忆性。
全栈程序员站长
2022/09/30
4.2K0
基于LSTM的股票预测模型_python实现_超详细
tensorflow dropout用法
dropout(x, keep_prob, noise_shape=None, seed=None, name=None) 函数作用就是使得矩阵x的一部分(概率大约为keep_prob)变为0,其余变为element/keep_prob, noise_shape可以使得矩阵x一部分行全为0或者部分列全为0 用在tensorflow中使得部分神经元随机为0不参与训练,如果算法过拟合了,可以试试这个办法。 with tf.Session() as sess: d = tf.to_float(t
用户1733462
2018/06/07
1.8K0
tensorflow学习笔记(二十六):构建TF代码
本文介绍了如何使用TensorFlow和Keras构建一个简单的基于LSTM的文本分类器,并使用PTB数据集进行训练。首先,我们介绍了如何使用TensorFlow构建一个简单的LSTM模型,然后使用Keras封装了LSTM模型,并使用PTB数据集进行训练。最后,我们介绍了如何使用训练好的模型进行分类,并给出了代码示例。
ke1th
2018/01/02
8590
tensorflow学习笔记(六):LSTM 与 GRU
[新增内容:今天写代码的时候,如果使用state_is_tuple=True, 那么
ke1th
2019/05/26
7930
一看就懂的Tensorflow实战(LSTM)
假设隐含状态长度为h,数据Xt是一个样本数为n、特征向量维度为x的批量数据,其计算如下所示(W和b表示权重和偏置):
AI异构
2020/07/29
1.6K0
一看就懂的Tensorflow实战(LSTM)
谈谈Tensorflow的dropout
Dropout这个概念已经推出4年了,它的详细描述见论文(https://arxiv.org/abs/1207.0580)。可是呢,它仿佛是个犹抱琵琶半遮面的美女,难以捉摸!!许多文献都对dropout有过描述,但解释的含糊不清,这里呢,我也不打算解释清楚,只是通过tensorflow来看一看dropout的运行机理。 文章分两部分,第一部分介绍tensorflow中的dropout函数,第二部分是我的思考。 1、tf.nn.dropput函数 首先看官方函数定义: def dropout(x, keep_
用户1332428
2018/03/30
6770
深度学习——RNN(2)双向RNN深度RNN几种变种
前言:前面介绍了LSTM,下面介绍LSTM的几种变种 双向RNN Bidirectional RNN(双向RNN)假设当前t的输出不仅仅和之前的序列有关,并且 还与之后的序列有关,例如:预测一个语句中
DC童生
2018/06/06
11.1K1
【深入研究】使用RNN预测股票价格系列一
今天编辑部推出一期基于Tensorflow建立循环神经网络来预测股票市场价格的教程。 第一部分着重于预测标准普尔500指数(大家可以自行换成国内指数就好)。 概述 我们将解释如何建立一个有LSTM单元的RNN模型来预测S&P500指数的价格。 数据集可以从Yahoo!下载。 在例子中,使用了从1950年1月3日(Yahoo! Finance可以追溯到的最大日期)的S&P 500数据到2017年6月23日。 为了简单起见,我们只使用每日收盘价进行预测。 同时,我将演示如何使用TensorBoard轻松调试
量化投资与机器学习微信公众号
2018/01/29
2.8K0
【深入研究】使用RNN预测股票价格系列一
tensorflow0.10.0 ptb_word_lm.py 源码解析
Created with Raphaël 2.1.0inputlstm1_1lstm2_1softmaxoutput
ke1th
2019/05/28
4690
解析Tensorflow官方PTB模型的demo
01 seq2seq代码案例解读 RNN 模型作为一个可以学习时间序列的模型被认为是深度学习中比较重要的一类模型。在Tensorflow的官方教程中,有两个与之相关的模型被实现出来。第一个模型是围绕着Zaremba的论文Recurrent Neural Network Regularization,以Tensorflow框架为载体进行的实验再现工作。第二个模型则是较为实用的英语法语翻译器。 在这篇博客里,我会主要针对第一个模型的代码进行解析。在之后的随笔里我会进而解析英语法语翻译器的机能。论文以及Tens
用户1332428
2018/03/12
1.3K0
解析Tensorflow官方PTB模型的demo
深度学习算法(第21期)----RNN中的Dropout技术
上期我们一起学习了如何训练RNN并预测时序信号, 深度学习算法(第20期)----创意RNN和深度RNN的简单实现 今天我们一起简单学习下RNN中的Dropout的实现。
智能算法
2019/07/25
7700
Tensorflow下Char-RNN项目代码详解
前言 Char-RNN,字符级循环神经网络,出自于Andrej Karpathy写的The Unreasonable Effectiveness of Recurrent Neural Networks。众所周知,RNN非常擅长处理序列问题。序列数据前后有很强的关联性,而RNN通过每个单元权重与偏置的共享以及循环计算(前面处理过的信息会被利用处理后续信息)来体现。Char-RNN模型是从字符的维度上,让机器生成文本,即通过已经观测到的字符出发,预测下一个字符出现的概率,也就是序列数据的推测。现在网上介绍的用
企鹅号小编
2018/01/15
1.7K1
Tensorflow下Char-RNN项目代码详解
Python人工智能 | 十二.循环神经网络RNN和LSTM原理详解及TensorFlow分类案例
前一篇讲解了TensorFlow如何保存变量和神经网络参数,通过Saver保存神经网络,再通过Restore调用训练好的神经网络。本文将详细讲解循环神经网络RNN和长短期记忆网络LSTM的原理知识,并采用TensorFlow实现手写数字识别的RNN分类案例。
Eastmount
2022/01/20
1.2K0
Python人工智能 | 十二.循环神经网络RNN和LSTM原理详解及TensorFlow分类案例
第六章(1.7)深度学习实战——用lstm做小说预测
一、简介 长短期记忆网络 LSTM(Long-Short Term Memory)是递归神经网络(RNN:Recurrent Neutral Network)的一种。 RNNs也叫递归神经网络序列,它是一种根据时间序列或字符序列(具体看应用场景)自我调用的特殊神经网络。将它按序列展开后,就成为常见的三层神经网络。常应用于语音识别。 虽然前馈神经网络取得很大成功,但它无法明确模拟时间关系,并且所有数据点都是固定长度的向量。所以就诞生了递归神经网络,递归即自我调用,递归神经网络与其他网络的不同之处在于它的隐含
两只橙
2019/02/14
7830
tensrflow lstm
tf.nn.rnn_cell.LSTMCell.__init__(num_units, input_size=None, use_peepholes=False, cell_clip=None, initializer=None, num_proj=None, num_unit_shards=1, num_proj_shards=1, forget_bias=1.0, state_is_tuple=False, activation=tanh) num_units: cell输出的维数(一个lstm的
ke1th
2019/05/28
5570
Tensorflow ActiveFunction激活函数解析
输入参数:● features: 一个Tensor。数据类型必须是:float32,float64,int32,int64,uint8,int16,int8。● name: (可选)为这个操作取一个名字。
演化计算与人工智能
2020/08/14
1.3K0
Tensorflow ActiveFunction激活函数解析
cnn+rnn+attention
下面是单层rnn+attention的代码,若考虑多层rnn请参考博主的:tf.contrib.rnn.static_rnn与tf.nn.dynamic_rnn区别 def attention(inputs, attention_size, time_major=False): if isinstance(inputs, tuple): # In case of Bi-RNN, concatenate the forward and the backward RNN outputs.
MachineLP
2018/01/09
1.6K0
【深入研究】使用RNN预测股票价格系列二
接昨天的 系列一(可点击查看) 在系列一的教程中,我们想继续有关股票价格预测的主题,并赋予在系列1中建立的具有对多个股票做出响应能力的RNN。 为了区分不同价格序列之间相关的模式,我们使用股票信号嵌入
量化投资与机器学习微信公众号
2018/01/29
1.4K0
【深入研究】使用RNN预测股票价格系列二
相关推荐
tensorflow学习笔记(十六):rnn_cell.py
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档