我想使用带有float16参数的Tensorflow Dense层。偏差和权重的默认数据类型都是float32，我尝试通过设置初始化器tf.truncated_normal_initializer(dtype=tf.float16)来设置数据类型，但似乎没有任何效果。tf.trainable_variables(scope=None)
print(varis[1]) # <tf.Variable 'dense
浏览 14提问于2019-06-13得票数 0
回答已采纳
我正在尝试将我的(float32)模型的精度改为float16，看看这会对性能造成多大的影响。加载模型(base_model)后，我尝试了以下操作：K.set_floatx('float16')float32
使用此代码，一个层中的权重被转换为float16，模型中
浏览 109提问于2017-12-20得票数 9
1回答
由于在LSTM中使用relu实际上并不实际，因为存在爆炸梯度，所以我在LSTM之后添加了一个密集的层，因此它类似于：model.add(LSTM(number_of_features或者，它是否为所有时间步骤添加了一个完全连接的密集层？
当我检查参数的数量时，要确定这一点。密集层具有number_of_features \times (number_of_
浏览 0提问于2020-11-10得票数 3
回答已采纳
默认情况下，功能值的数据类型是uint8。但是，Tensorflow模型只接受浮点值。TypeError:传递给参数“功能”的值在允许<e
浏览 5提问于2020-03-15得票数 2
2回答
内存耗尽太快
、、、、
因此，我尝试使用此代码的修改版本其使用致密层512、128、32、8而不是卷积层。我相信原始的使用(63,3,3)，(128,3,3)，(256,3,3)，(512,3,3)，(512,3,3)。由于使用了宽度为3的4个块，如果我是正确的，那么在我的版本中总共使用了4536个节点。在尝试切换到float16而不是float32时，我发现每个fractal_net调用都会创建1000个新的密集
浏览 2提问于2020-04-26得票数 0
因此，我决定，也许是时候考虑使用16位精度而不是32位来存储VGG19 CNN的参数。当我建造我的机器时，我的初步研究让我相信，从32切换到16是一件轻而易举的事情，但这不是我的经验，因为我正在积极地尝试着实现这一转变。这就是我所做的：
设置tf.keras.backend.set_epsilon(1e-
浏览 0提问于2019-09-12得票数 0
我有一个使用mobilenetv2训练的回归模型。最后几层如下：我想让这个mlmodel变成一个可更新的mlmodel，并训练innerProduct层(pytorch中的完全连接层)。但我发现可更新的mlmodel的第二个训练输入默认设置为"score_true“，它只是一个值(数据类型: int32)。但是，softmax层的输出是一个具有10
浏览 21提问于2020-03-12得票数 0
2回答
我有一个预先训练过的Tensorflow检查点，其中的参数都是float32数据类型.
如何将检查点参数加载为float16？或者有修改检查点数据类型的方法吗？下面是我的代码片段，它试图将float32检查点加载到float16图中，并且得到了类型错配错误。
浏览 0提问于2019-06-12得票数 6
回答已采纳
1回答
将密集输出添加到卷积输出
、、、
我想在keras中包含一个卷积运算的标签。因此，我将密集层的输出与卷积层的输出相加。,1,1024)密集输入是一个热向量，我希望它影响卷积输出的所有8列。那么，我如何将长度为1024的密集列重复8次，以便可以添加它呢？提前感谢您的帮助！
浏览 14提问于2020-05-06得票数 0
回答已采纳
1回答
layers.embedding有一个参数(input_length)，将其描述为：
为什么不能计算密集输出的形状。对我来说，Flatten似乎很容易做到。它只是一个tf.rehshape(input,(-1,1))，后面是一个密集的<
浏览 2提问于2020-05-17得票数 4
回答已采纳
我正在设计一个嵌入层，其中词汇量为4000，大多数训练示例的长度都小于10。然而，有些示例的长度为100，甚至可能是几百，为了保持所有示例的输入长度不变，我希望避免将每一个示例填充到长度100+中。为了弥补这个问题，我只想根据批处理中的最大长度来填充，这样几乎所有的批次都只有输入长度~10，只有几个批次有大量的填充。如何在每批输入长度不同的批中加载到嵌入层？
浏览 1提问于2019-03-10得票数 2
2回答
如何覆盖numpy函数，如下面的示例所示(为参数dtype设置不同的默认值；如何找到属于numpy.array的父类)？2, 3]]
print(np1.dtype) # gives float64
print(np1.dtype)
# I think it could b
浏览 1提问于2018-02-27得票数 0
回答已采纳
我正在尝试创建一个模型来拟合来自cifar-10数据集的数据。when checking target: expected dense_3 to have 4 dimensions, but got array with shape (16, 1)这就是我使用flow_from_directory得到一个工作的cnn模型的地方：
如果有人好奇，我使用卷积神经网络模型对
浏览 1提问于2017-05-06得票数 0
1回答
因此，我尝试了以下数据，并得到了下面的错误： ID: 10 * string, \ URL: 175 *: float16NotImplementedError:不匹配SQLAlchemy数据类型: int8我解决了所有数据类型并将其设置为int32或float32，并从字
浏览 3提问于2016-12-05得票数 3
1回答
我很困惑的事情
、、、
：softmax层的必要性:我认为对于分类模型，softmax层转换为输出中的每个类创建百分比概率，这是分类所必需的。但是看看DenseNet和其他预先设计的体系结构，它们没有任何softmax层，甚至没有一个密集的层，所以我只想知道我缺少了什么。--
全球平均池，它必须有与输出层相同数量的通道，对吗？如果是这样的话，为什么当我添加它时，在模型摘要中它说我在间隙层
浏览 8提问于2022-03-20得票数 0
1回答
在最后一层中，我使用的是输出大小等于声声大小的密集层，这一层为训练贡献了巨大的参数。
如何减少语言模型中最后一层的大小？最后一层的大小应该等于声标大小吗?如果是的话，如果我们有大的话，模型会不会是大的？
浏览 5提问于2022-10-20得票数 0
当处理最初使用bool (例如，来自to_dummies)或小数值数据类型(例如，int8)的数据时，这是相关的，这些数据类型都在稀疏容器中转换为float64。DataFrame创建Out[]: 285864
通过使用
浏览 2提问于2016-04-10得票数 1
1回答
在连体网络中选择对比性损失的边际
、、、、
我正在为一个度量学习任务构建一个连体网络，使用一个对比损失函数，但我不确定如何设置损失的“差值”超参数。我对损失函数的输入目前是来自RNN层的1024维密集嵌入-该输入的维度是否会影响我选择边距的方式？我是不是应该先用一个密集的层把它投射到一个低维的空间？任何关于如何挑选一个特定的保证金价值(或任何相关的研究)的</em
浏览 22提问于2019-02-27得票数 2
我在大多数LSTM代码示例中看到了这个代码概念(使用Keras库)：model.add(Dense(Y))model.add(Dense(1))model.add(Dense(10))
我应该如
浏览 0提问于2019-03-01得票数 1
我的设置有一个NVIDIA P100 GPU。我正在研究一个Google模型来回答问题。我使用的是SQuAD问答数据集，该数据集提供问题，以及应该从中提取答案的段落，我的研究表明，这种体系结构应该是可以的，但在培训期间我一直会收到OutOfMemory错误：
ResourceExhaustedError下面，请找到一个完整的程序，使用其他人的实现谷歌的BERT算法在我自己的模型。请让我知道我能做些什么来纠正我<em
浏览 9提问于2020-01-06得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
