我使用这个序列从磁盘读取图像文件，并将其输入到TF Keras模型中。#Make dataset for training tuple (tf.py_func(_get_data_for_dataset, [file_id,file_name], [tf.float32,tf.float32]))))dataset_train.make_o
浏览 3提问于2018-07-24得票数 3
回答已采纳
我已经阅读了TF页面和一些帖子，并了解了如何使用prefetch()和cache()来加速模型输入管道，并尝试在我的数据上实现它。，我猜测预处理时间与网络批处理时间相当。我的整个数据集(包括所有输入文件)包含大约500批1024个样本。我的问题是： 1-如果我做缓存，我真的需要预取吗？ 2-映射、批处理、缓存、预取和重复的顺序<
浏览 56提问于2020-09-08得票数 3
我使用tf.keras.preprocessing.image_dataset_from_directory()函数()加载图像，该函数返回tf.data.Dataset对象： class DatasetGenerator(tf.keras.utils.Sequence):
def问题是
浏览 6提问于2020-07-28得票数 1
回答已采纳
dataset = tf.data.TFRecordDataset(filepath)3.洗牌究竟是如何运作的？4.在映射和处理文件路径之前，我们是否可以使用重复、洗牌和批处理来代替
浏览 0提问于2019-02-13得票数 0
回答已采纳
我想训练一个卷积神经网络来识别两种类型的类。然而，训练过程非常缓慢。你有什么建议吗?我能改进什么？我不会提到我的CPU，RAM，这里我关心的是瓶颈在哪里，以及我可以改进什么来加快它(我的图像已经是229x299x3)。from keras import layersfrom keras import optimizers
from keras.preprocessing.
浏览 0提问于2019-03-20得票数 0
1回答
我正在尝试学习新的Tensorflow API，我有点不知道从哪里获得输入批处理张量的句柄，这样我就可以使用例如tf.image来操作和增强它们。switching to test data}
我正在使用Dataset API创建2个数据集，以便在列车循环中计算火车和测试损失，并记录它们。我没有为我的tf.placeholders输入
浏览 2提问于2018-04-14得票数 0
回答已采纳
我的问题与其说是为了调试，不如说是为了学习：我正在使用一个地图在我的程序中分配一些值，那么unordered_map的使用速度比地图快吗？
浏览 6提问于2014-09-10得票数 2
回答已采纳
根据TensorFlow ，tf.contrib.data.Dataset类的prefetch和map方法都有一个名为buffer_size的参数。对于prefetch方法，参数称为buffer_size，根据文档：
output_buffer_size：(可选)tf.int64标量tf.Tenso
浏览 19提问于2017-09-27得票数 127
回答已采纳
3回答
如何优化给定多核体系结构的算法
、、、、
如何使用更好的缓存来提高性能。如何减少缓存一致性，或者在算法/程序中应避免哪些访问模式，从而使缓存一致性不影响我的性能？我了解一些在L1中使用最近缓存数据的标准技术，但是如何有效地在多核上使用共享缓存(比如L2)中的数据，从而避免更昂贵的主存访问？基本上，我感兴趣的是，为了更好地映射到给定的体系结构，我应该尝试利用或避免哪些数据访问模式。我可以使用什么样的数据结构，在什么样的场景中(使用不同级别的私有<em
浏览 2提问于2015-03-05得票数 6
回答已采纳
在我提供一个简短的背景资料时，请耐心等待：
天真的解决方案是，每当我需要他们的数据时，打电话给Facebook/LinkedIn。问题是，如果我需要大量的数据(例如100个用户的配置文件)，这会变得太慢。批处理调用可以使事情变得更好，但它们有其局限性，我不确定这
浏览 5提问于2012-08-14得票数 1
回答已采纳
我有下面的传递学习的简单模型，使用一个没有FC层的预训练模型(VGG16)，然后是几个新的层，使用keras顺序API定义。======#Trainable params: 17,410我在我的自定义数据集上对上述模型进行了训练，并通过迁移学习在我的测试数据集上获得了所需的精度。现在，假设我想创建一个新的模型(例如，计算激活映射)
浏览 7提问于2022-03-28得票数 0
回答已采纳
4回答
int data;编写线程生成data并打开标志ready以允许读取器使用该数据。在上面的大纲中，当指令由于缺少数据而没有完全准备好处理时，OoOE处理器避免了在顺序处理器的步骤(2)中发生的失速。是说结果必须按顺序写回去吗？真的，在OoOE处理器中，可以重新排序存储到data和ready吗？
浏览 7提问于2014-08-15得票数 4
回答已采纳
15回答
如何使代码，缓存有效/缓存友好(更多的缓存命中，尽可能少的缓存错过)？从这两个方面来看，数据缓存&程序缓存(指令缓存)，即代码中与数据结构和代码结构相关的东西，应该加以处理以使其有效。是否有任何特定的数据结构必须使用/避免，或者是否有特定的方式访问该结构的成员等等.要使代码缓存有效，请执行以下操作。
是否<
浏览 8提问于2009-04-18得票数 172
3回答
可以使用程序集直接访问缓存吗？
、、、、
当涉及到效率时，缓存是一个核心问题。但是，我想自己控制缓存的使用，因为我认为我可以比一些不知道确切程序的启发式方法做得更好。像这样：我知道有一些指令给出了“缓存系统”提示，但我不确定这是否足够，因为提示可以被忽略，或者它们可能不足以表达任何可以通过这样的移动到/从缓存顺序来表示的表达式是否有允许完全缓存控制的汇编程序？
附带说明:为什么我想改进<e
浏览 5提问于2020-06-05得票数 3
回答已采纳
2回答
因此，我正在考虑一个新的数据存储模型，但在开始实现它之前，我想知道您是怎么想的:我不确定这个设计是否能解决任何(未来的)性能问题(我正在考虑缓存一致性、预取等优化)。每一篇文章的第一个想法是将组件数据存储在一个数组中(每种类型)，并使用快速查找映射(例如。hash_map)用于实体_id->component_id关系。每个组具有与以前相同的行为(连续排列的数据和存储用于快速组件查找的实体_id-> component _
浏览 0提问于2017-02-10得票数 6
这是对这些问题的跟进
对于这个小数据集，我们只为训练集创建一个TFRecords文件，为测试集创建另一个。但是，如果数据集非常大，则可以将其拆分为多个名为“碎片”的TFRecords文件。这也将改善随机洗牌，因为Dataset API只从一个较小的缓冲区(例如，加载到RAM中的1024个元素)进行洗牌。所以有一个最优的文件大小，但我想知道，是否有一个最优的元素数量？既然是元素本身被分发到GPU核心呢？
浏览 2提问于2018-12-25得票数 2
回答已采纳
3回答
数据量大于缓存的3D FFT
、、、、
我的数组由2^30个数据点组成，这比缓存大得多。这会导致约50%的缓存引用未命中，这似乎会增加访问内存的大量开销。任何帮助都将不胜感激。迪伦
浏览 0提问于2015-06-09得票数 0
所以我刚刚开始使用Tensorflow，我很难正确理解输入管道。我要指出的另一件事是，我的实际数据集在数十亿行中，所以我必须考虑性能。一开始，我以为我会重塑它们，然后将它们输入"feed_dic
浏览 0提问于2018-04-18得票数 2
回答已采纳
5回答
流的有效内存带宽使用
、、、
我有一个通过250 MB数据流的应用程序，将一个简单而快速的神经网络阈值函数应用于数据块(每个数据块只有2个32位字)。根据(非常简单)计算的结果，该块不可预测地被推入64个桶中的一个。这是多次重复使用不同的检测功能。
计算内存带宽有限。我知道这一点，因为没有速度变化，即使我使用了一个判别式函数，它的计算量要大得多。想象一下最坏的情况，我有我的64输出流，不幸的是，许多映射到相同的缓存线。然后，当我将接下来的64位数据写入流时，CPU必须将一条陈旧的缓存</em
浏览 7提问于2009-04-02得票数 6
回答已采纳
顺序读取可能会受到预取的影响，因此请考虑这一点。
1)我不明白如何执行增量大小的读取将有助于确定块大小？3)每次增加尺寸时，是否每次都要从头开始读？还是继续读从我开始的那一刻？
任何帮助都是非常感谢的。
浏览 2提问于2016-03-31得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
