我想检查位精度如何影响DNN的准确性。你知道有什么C/C++/Python库不需要大量的返工来支持量化类型的推断吗？例如，我想将所有操作数(权重、激活、误差和梯度)设置为8/16/32位精度，并在测试后检查每个精度的准确性。
浏览 20提问于2019-11-14得票数 1
回答已采纳
我在努力优化我的火把模型。我理解量化的基本原理(将32位浮点数更改为16位或8位中的其他数据类型)，但我不知道这两种方法有何不同或选择了什么。
我看到AMP (自动混合精度) 和规则量化。
浏览 4提问于2021-12-28得票数 2
回答已采纳
Alexnet或Google net可以在16位和8位定点精度下运行吗？假设我使用的是caffe框架。
浏览 0提问于2017-09-14得票数 1
我们可以通过TensorFlow Lite、Caffe2或OpenCV在智能手机上部署MobileNet，我认为Caffe2将以更高的fps提供最好的性能。但是为什么呢？它们之间的性能差距这么大吗？
浏览 59提问于2019-09-13得票数 1
1回答
动态范围量化
、、、
用于动态范围量化的tensorflow文档指出：我感到困惑的是，如果在推理时将权重转换为float32，那么量化是如何完成的呢？
浏览 3提问于2021-07-25得票数 0
回答已采纳
在应用训练后量化后，我定制的CNN模型被缩小到原来大小的1/4 (从56.1MB减少到14 my )。但是，在推理过程中，我得到了以下错误：
java.lang.IllegalArgumentException: Cannot convert between a TensorFlowLite buffer这使我怀疑转换后的tflite模型仍然是浮点数格式。这是预期的行为吗？我怎样才能像在中一样，从TensorFlow官方存储库中获得一个<em
浏览 1提问于2018-10-17得票数 2
回答已采纳
Nvidia计划在他们的泰坦卡上增加对int8操作的硬件支持，并瞄准深度学习。我试图了解它是如何有用的，以及哪些类型的网络将从中受益。我知道FP16而不是FP32对DL应该是有用的，但不确定int8能做什么。有一些研究表明，您可以对FP32进行完全精确的训练，然后将其舍入一个字节--但这不会加速或减少训练时的内存占用。
浏览 0提问于2016-07-25得票数 3
我正在重新训练一个预先训练过的模特VGG16。当我保存模型时，发现模型的大小是2GB(这太大了)。我已经为9个班(900张图片)训练了这个模型。原因是我必须在AWS云中使用这个模型，在那里系统有8GB的内存。我担心他们的表现会否受到这些模式<
浏览 0提问于2019-07-09得票数 0
我目前正在使用TensorFlow Lite，我试图理解 (DRQ)和 (FIQ)的区别。据我所知，在第一种情况下，只有权重被量化，而在第二种情况下，权重和激活(输出)都被量化。关于权值的量化，是简单地从float32转换到int8，还是进行另一种操作？同样，为什么需要一个有代表性的数据集来量化FIQ中的激活？另外，我想知道，例如，一层神经网络是否有乙状结肠激活，这意味着在FIQ中，这一层的所有输出都将被“映射”到0或1(而不是在中间
浏览 2提问于2021-02-08得票数 0
我们正在考虑将量化感知训练用于一个研究项目，以确定训练期间量化对收敛速度和运行时间的影响。尽管我们还不完全相信这是正确的工具。请您澄清以下几点: 1)如果一个层在量化感知训练期间被量化，这意味着输入和权重被量化，包括激活函数在内的所有操作都被量化，然后在返回之前，输出被反量化到与下一层兼容的精度。这种理解正确吗
浏览 22提问于2020-06-19得票数 0
回答已采纳
我看到tensorflow在训练和测试中提供了fp16的使用，使用它是否安全，或者它是否会对最终结果产生不利影响？
浏览 49提问于2017-01-21得票数 1
回答已采纳
其中一个是照片编辑应用程序，其中包括用于面部识别、物体检测、分类和风格转移的CNN应用程序。另一个是NLP应用程序，通过建议单词和句子补全来帮助写作过程。一旦我有了一个准确的训练有素的模型，它在我正在测试的一个或多个移动设备(通常是低端的Android)上会变得非常慢。我读到有一些优化可以提高模型的速度，但我不知道怎么做。有没有一个标准的工具来优化移动/边缘的模型？
浏览 3提问于2019-05-17得票数 0
离散高斯采样的尾部切割和精度如何影响LWE /环形LWE的安全性？对于给定的标准偏差，是否有选择尾切和精度的经验规则或指导方针？截尾是指切掉分布的“尾巴”部分($|x| >\β\sigma$)，它的总质量可以忽略不计。在这份2015年开始的纸中，作者建议在$|x| >9.2西格玛$和64位精度的情况下对128位</e
浏览 0提问于2018-03-31得票数 3
回答已采纳
我正在学习openMP，用我有限的知识，我的代码已经并行化了。我正在尝试使用openMP矢量化技术来改进这段代码。但在阅读相关阅读材料()时，我发现不可能对long double数据类型执行向量化操作。有人能提供为什么会这样的信息，并提出一个解决方案，而不是降低精度吗？该链接中的内容如下：“避免SIMD硬件不支持的操作。Linux上具有(80位)长双精度的
浏览 1提问于2016-05-09得票数 2
我不确定我是否理解的概念。我的目标是运行一个浮点16精度的tf.keras模型，以提高推理速度。这能用混合精度来完成吗？在培训我的模型之前，我要制定这个政策：policy= mixed_precision.Policy('mixed_float16')
mixed_precision.set_po
浏览 6提问于2020-09-03得票数 0
回答已采纳
1回答
我有一个在keras中训练的模型，并保存为.h5文件。该模型通过tensorflow后端使用单精度浮点值进行训练。现在我想实现一个在Xilinx FPGA上执行卷积运算的硬件加速器。但是，在决定FPGA上使用的定点位宽之前，我需要通过将权重量化为8或16位数字来评估模型精度。我遇到了，但我不确定如何从每一层获取权重，量化它并将其存储在numpy数组列表中。在对所有层进行量化
浏览 2提问于2018-10-15得票数 5
我有两个使用Keras训练过的模型。将这两种模型转换为.pb格式可以很好地工作(推理性能相同)。我使用在keras_to_tensorflow上找到的实用工具
在TOCO中使用量化将200级模型转换为.tflite (前3精度下降了30%)。我完全不明白为什么
浏览 2提问于2018-10-29得票数 3
1回答
具体来说，在Tensorflow使用GEMMLOWP进行量化操作的情况下，我想在不同的位深度运行量化操作。似乎有一些有用的信息，但我仍然不太明白如何使用它，或者它会产生什么影响--当它说最终数据类型仍然是uint8，但精度较低时，这是否仅仅意味着，即使存储在uint8变量中，7位算术仍会返回0到127之间的值Tensorflow似乎利用了GemmLowP的
浏览 0提问于2018-06-26得票数 1
回答已采纳
1回答
我正在使用Renyi (-differential) PyTorch隐私，这是在PyTorch DNN中实现的。我这样做是为了保证培训集的隐私达到ε的程度。为了实现这一点，我使用。随着网络对训练集的适应程度越来越高，训练精度不断提高，网络的保密性逐渐降低。然而，在某个转折点上，隐私降低了，精度也降低了；我认为，由于在一批训练数据上增加了太多的(隐私)噪声，并且/或因为它覆
浏览 0提问于2020-06-01得票数 3
2回答
当我们关心速度的时候，GPU比CPU好得多。。我的直觉说，GPU和CPU之间的关系，如果涉及到精度，就不应该有任何区别。
但我有一点怀疑，GPU和CPU内部处理信息的方式各不相同。他们都有不
浏览 0提问于2021-05-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
