我创建了一个tensorflow数据集train_image，其中包含10个A类图像和20个B类图像。现在，我如何分别复制每个类？我希望train_image包含100个A类图像(每个A类图像重复10个)和100个B类图像(每个B类图像重复5个)。
浏览 23提问于2019-10-03得票数 0
我想使用tensorflow dataset构建一个数据管道。因为每个数据都有不同的形状，所以我无法构建一个数据管道。import tensorflow_datasets as tfdsdataset_builder.download_and_prepare()
浏览 1提问于2019-08-26得票数 6
回答已采纳
我使用的是Estimator API。我希望通过DataSet在每次迭代中动态处理每个小批处理(或每个元素)。例如，每当数据集中的每个元素被批处理并输入到model_fn中时，我都会向其中的每个元素添加随机噪声。dataset.map()似乎只被调用一次，并且通过dataset.repeat()的后续传递是静态的。这是我尝试过的：
import tensorflow</em
浏览 0提问于2019-10-25得票数 1
我使用卷积网络对不同形状的图像进行分类。我找不到在Tensorflow中加载图像的方法。基于，它应该与tf.data.Dataset()一起工作。我以这种方式创建数据集：dataset = dataset.map(read_file)dataset = dataset.
浏览 9提问于2017-10-17得票数 2
假设训练数据集是[1,2,3,4,5]，我想重复每个样本几次。让我们假设数字为3，并且对所有样本都是相同的，那么复制后的结果是：[1,1,1,2,2,2,3,3,3,4,4,4,5,5,5]。但是官方的tf.data.Dataset.repeat函数给出的结果是[1,2,3,4,5,1,2,3,4,5,1,2,3,4,5]，它不能满足我的需要。
如何实现复制?如果每个示例的复制编号不同(例如，将每个样本复制为“加权”
浏览 6提问于2022-07-26得票数 2
1回答
我有一个很大的数据集，我想使用在Tensorflow的培训。目前，我使用一个基于Keras序列的生成器对象来进行训练，但我希望完全使用没有Keras的Tensorflow。我正在查看TF网站上的Dataset API，但我不太清楚
浏览 0提问于2018-11-29得票数 2
回答已采纳
我正在尝试复制一些我在熊猫中做过的数据预处理到tensorflow变换中。我有几个CSV文件，我加入了这些文件，并与熊猫进行聚合，以生成一个培训数据集。现在，作为生产模型的一部分，我希望使用apache和tensorflow变换进行这种预处理。然而，我不太清楚如何在那里复制相同的数据操作。让我们来看看两个主要操作：JOIN dataset a和dataset b，以在dataset c上生成c和gr
浏览 4提问于2022-03-25得票数 0
回答已采纳
随着最近对版本1.4的升级，Tensorflow在库核心中包括了tf.data。中描述的一个“主要新特性”是，它是一种“应用自定义转换函数的方法”。这与已经存在的有什么不同？
浏览 4提问于2017-11-03得票数 30
回答已采纳
在Tensorflow 1.12中，介绍了tf.data.Dataset.reduce()和tf.data.Dataset.window()方法。在发布说明中：
编辑:来自
这个函数是不可取的
浏览 0提问于2018-10-24得票数 2
我有一长串整数列表(表示不同大小的句子)，我希望使用tf.data库提供这些整数列表。每个列表(列表中的列表)都有不同的长度，我得到一个错误，我可以在这里复制：dataset = tf.data.Dataset.from_tensor_slices编辑1:为了明确起见，我不想输入列表列表(这是一个包含100多万个元素的句子列表，长度不同)，我想使用tf.data库以
浏览 12提问于2017-11-30得票数 28
回答已采纳
1回答
所以，我想知道如何：1-访问文件中的文本和标签，可能不使用熊猫。如果推荐熊猫，并且有一种简单的方式来访问这个文件并使用TensorFlow传送到一个网络，我会接受答案的。
2-在测试集和训练集中拆分文件(实际上我已经找到了熊猫的解决方案)。3-对我的文本和标签进行矢量化以满足我的网络需求.如果您有完整的指南，说明如何做到这一点，那就好了，它只需要使用TensorFlow</em
浏览 1提问于2020-08-26得票数 0
回答已采纳
然而，这两个参数之间的主要区别(除了用于训练或验证之外)在于它们如何从数据集中采样。对于训练，steps_per_epoch将在每个时期使用下一个可用的样本，因此每个时期通过数据集进一步进行。之所以将validation_steps设置为不同的工作方式，是因为开发人员希望确保每次验证运行都使用相同的数据。在我的例子中，我宁愿这不是validation_steps的工作方式。是通过fit的某些设置，还是以某种方式包装数据集，以便当fit
浏览 0提问于2020-04-02得票数 0
1回答
num_epochs, epoch_loss))_, c = sess.run([optimizer, cost], feed_dict={x: epoch_x, y: epoch_y}) dataset = dataset.map(parser)
例如，我在这里打印了一张图像及其标签tf.nn.dropout(fc, dropout_rate)
out = tf
浏览 1提问于2018-07-13得票数 0
回答已采纳
我有一个关于新的dataset API (TensorFlow1.4)的问题。我有两个数据集，我需要创建一个组合的不平衡数据集，即每个批次应该包含来自第一个数据集的特定数量的元素和来自第二个数据集的特定数量的元素。例如,dataset1 = tf.data.Dataset.
浏览 11提问于2018-01-16得票数 4
我正在使用Tensorflow Dataset API并从TFRecord文件中读取数据。我可以使用map函数，并使用random_flip_left_right、random_crop等方法进行数据增强。 然而，当我试图复制AlexNet论文时，我遇到了一个问题。我需要翻转每个图像，然后采取5个裁剪(左，上，下，右和中)。 因此，输入数据集大小将增加10倍。有没有办法使用tensorflow dataset
浏览 24提问于2019-08-30得票数 3
2回答
它表明在TensorFlow模型中没有“列车”属性。我知道这是过时的代码，我试着转换成新版本的TensorFlow。然而，我找不到一个匹配的代码，它可以做与上面这行代码相同的事情。我发现了一个让我使用tf.data.Dataset.batch(batch_size)的方法。我尝试了以下方法，但都不起作用。a. batch_x, batch_y = mnist.train.next_batch(50)
b. batch_x, batch_y = tf.data.Dataset.batch(batch_s
浏览 24提问于2019-04-09得票数 1
回答已采纳
我使用tensorflow dataset api将数据提供给模型。据我所知，我应该对数据集进行混洗，以从模型中获得最佳性能。然而，由于我训练了一个时期，然后测试了一个时期，以此类推。我不太确定我是否在以不同的方式执行洗牌。为了更好地说明，下面是我的代码： train_dataset = tf.data.TFRecordDataset(filename_train).map(_parse_function).filter((share
浏览 31提问于2019-02-22得票数 0
回答已采纳
因此，我可以通过浏览keras中的各种函数来收集，我编写的数据生成器填充了一个较低级别的tensorflow数据集，然后该数据集在每个时期进行迭代。我只是看不出tensorflow数据集是如何在每个时期得到扩充的。总之，我可以看到一些提示，tensorflow Dataset.cache()方法可能在第一个时期之后将我的训练数据集存储在内存中。我能否以某种方式取消缓存()以强制重新读取和重新增强，或者是否有人可以告诉
浏览 26提问于2021-02-11得票数 0
我正在使用Tensorflow 2.0的数据模块并使用tf.data.Dataset对象来存储我的特性，为专有数据构建一个输入管道。我已经开发了一些函数，可以访问所需的所有数据，并且能够在列上使用Dataset的映射函数来获取数据，但我不知道如何向我的tf.data.Dataset对象中添加一个新列来保存新的数据。我有所有的方法将输入作为列中的元素，并执行获取每个元素的特性所需的一切，我只是不明白<
浏览 5提问于2019-08-07得票数 6
我正在使用TensorFlow 2.0测试版。我有一个TensorFlow Dataset，其中每个元素都是一批特性列:张量的元组，每个元组都具有batch_size记录的特定特性的值。我需要将这些记录扁平化为TFRecords，我想使用TensorFlow Dataset函数进行序列化。扁平的记录不需要按确定的顺序产生。flat_map不接受张量元组--“接受两个位置参数，但给出了”num_features“
浏览 2提问于2019-07-11得票数 1
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号