我正在使用Kaggle数据集开发一个数字分类器模型：https://www.kaggle.com/c/digit-recognizer/data?select=test.csv 当使用np.array对象拟合模型时，它工作得很好，但我不能传递tensorflow ds对象。下面是我使用ds对象进行训练/验证数据的代码： import pandas as pdimport
浏览 10提问于2020-07-06得票数 0
回答已采纳
我有一个包含RGB图像的图像数据集: img1.png，img2.png ...img250.png。我从每张图像中提取了100个大小为64,64,3的小补丁。所以，我现在有了img1_1.png、img1_2.png ...img1_100.png、img2_1.png、img2_2.png等数据集...img2_100.png，img3_1，.我想用tf.data.dataset.from_tensor_slices创建一个数据生成器，将每个图像的所有补丁传递到一个RNN模型
浏览 16提问于2020-08-30得票数 1
我需要将基于Sequence的数据生成器转换为tf.data.Dataset格式。为此，我使用from_generator函数为我所有的训练、验证和测试数据创建重复的BatchedDataset。reshuffle_each_iteration=True) dataset = dataset.batch(batch_size) 这些是在模型拟合中使用的The process
浏览 476提问于2021-04-26得票数 0
回答已采纳
我使用tf.keras.preprocessing.image_dataset_from_directory()函数()加载图像，该函数返回tf.data.Dataset对象：
train_ds = tf.keras.preprocessing.image_dataset_from_directory，model.fit()将在培训多个批之后使用所有内存(我正在使用Google，并且可以看到第一个时代内存使用量的增长)。然后我尝试使用Keras，这是将部分数据加载到RA
浏览 6提问于2020-07-28得票数 1
回答已采纳
现在，如果我们不使用生成器，batch_size = 10和steps_per_epoch = 100，我们将使用每幅图片作为10 * 100 = 1000。因此，增加steps_per_epoche将(正确地)导致错误：
d
浏览 7提问于2021-05-19得票数 3
回答已采纳
在将训练和测试数据的csv文件转换为数组后，我发现了以下错误：Uncaught (in promise) TypeError: e.iterator is not a function
以下是适合的模型
浏览 0提问于2019-12-29得票数 1
回答已采纳
1回答
在处理大型数据集时，它显然更好，但在使用dataset时，必须将其转换回张量。但为什么不先用张量呢？为什么和何时应该使用tf.data？为什么不能让tf.data返回整个数据集，而不是通过for循环来处理它呢？当数据集的函数最小化时(使用类似于tf.losses.mean_squared_error的方法)，我通常通过张量或numpy数组输入数据，并且不知道如何通过for循环输入数据。我该怎么做？
浏览 0提问于2019-02-26得票数 4
回答已采纳
1回答
我试图训练一个LSTM模型，从每天的基础和价格数据，从大约4000只股票，由于内存限制，我不能把所有的记忆后，转换成序列的模型。这导致我使用生成器，而不是使用Keras / Tensorflow中的。问题是，如果我尝试在所有数据堆叠上使用生成器，它将创建混合股票序列，参见下面的示例，序列为5，这里的序列3将包括“股1”的最后4个观察和“
浏览 4提问于2020-04-12得票数 5
回答已采纳
在我的实验中，我想用cifar10在imagenet上训练卷积神经网络，我使用了ResNet50。因为cifar10是32x32x3，而ResNet50使用224x224x3。更新
我想了解如何使用预先训练的权重(即，在imagenet上的ResNet50 )来训练卷积神经网络；我不知道如何在tensorflow中完成这一任务。有人能提供可行的方法来解决这个问题吗？在imagenet上用CNN训练最先进的cifar10模型的正确方法是什么？有人能在tensorflow中分享可能的想法或有效的方法吗？有什么想法吗？谢谢!
浏览 2提问于2020-08-18得票数 3
我创建了一个数据生成器类的两个实例，扩展自keras序列类，一个用于训练，另一个用于验证数据。然而，在我的源代码级别上，我只能看到验证生成器在每个时期之间重复迭代。我看不到训练发电机。因此，我不能验证训练数据的增强是我想要的。在这些代码片段中，aug是一个参数字典，这些参数转到我的序列的myDataGen扩展中的一个keras ImageDataGenerator实例。现在，我还意外地发现，尽管fit方法不支持验证数据的生成器
浏览 26提问于2021-02-11得票数 0
我正在运行代码链接中提到的代码import numpy as npfrom keras.layers import Input, Dense, Dropoutfrom tensorflow.keras.utils import to_categoricalfrom k
浏览 0提问于2021-07-20得票数 0
回答已采纳
1回答
数据集不适合内存。
、、、
我有一个类似MNIST的数据集，它不适合内存(进程内存，而不是gpu内存)。我的数据集是4GB。据我所知，model.fit需要一个用于x和y的数组。基本上，对于每一批，我将从磁盘加载必要的数据。编辑 np.memmap可以是一个选项。但我看不出如何跳过头的前几个字节。
浏览 5提问于2017-10-09得票数 5
1回答
我有一个用Keras/tensorflow实现的VGG16模型。我决定最好先使用Dataset对训练Dataset.map进行预处理。如何正确地将下面的Dataset Dataset.map 生成器转换为Dataset.map函数？Dataset 电流发生器
这是在Python3.8和tensorflow==2.4.4中实现的(并且已知可以使用
浏览 12提问于2022-05-26得票数 0
回答已采纳
使用来自Masking的keras层可以解决这个问题，方法是对所有的零值应用一个掩码，但是因为我的序列自然包含零，而且超长( 50,000个令牌)，这会使训练速度降低50倍！详细信息src -输入sequencetgt -类ID输出序列中令牌的sequencetokens数
我想训练一个序列标记模型为了与Keras一起使用它，我知道我只需要在我的数据集
浏览 0提问于2020-07-23得票数 0
1回答
Keras多处理中断验证精度
、、、、
以前，我使用的是keras生成器，使用fit生成器，将多处理设置为false，工作人员设置为16，但是最近我不得不使用自己的生成器，因此我创建了自己的flow_from_directory生成器，如下所示当我保持工作人员>1并将MultiProcessing设置为True时，代码会运行，但它会给出如下警告：
警告:tensorflow:使用带有use_multiprocess
浏览 0提问于2020-08-21得票数 0
我正在使用tensorflow 2.0API，其中我从所有图像路径创建了一个数据集，如下面的示例所示然而，当我运行这段代码使用
浏览 0提问于2019-04-10得票数 2
我正在用Keras训练一个模型，它由一个Huggingface RoBERTa模型组成，作为骨干，下游任务是文本的跨度预测和二进制预测。
我一直在用大小在2 Gb以下的数据集定期训练模型，效果很好。这使得在没有生成器的情况下使用numpy张量的keras训练模型是不可能的，因为tensorflow使用google protobuf来缓冲TPU的张量，并且尝试在没有生成器的情况下服务所有数据失败。如果我使用</
浏览 2提问于2021-01-22得票数 0
我用tf.data.dataset解决了两个问题：
我想知道是否有可能将tf.data.dataset转换为pandas数据帧？此外，我想知道是否可以将tf.data.dataset用于其他模型(除了tf神经网络)，例如，我可以使用tf.data.dataset来训练xgboost、LGBMClassifier、RandomForest
浏览 1提问于2021-01-27得票数 0
我正在尝试编写一个自定义模型，在其中我正在编写一个自定义train_step函数tds = tf.data.Dataset.from_generatortf.TensorShape([16,64,64,3]),tf.TensorShape([16])))在自定义DataGenerator中，__iter__方法定义为self):
for item in (self[
浏览 2提问于2020-08-30得票数 15
我对中的my_input_fn()感到非常困惑我知道在每个train()中，它都会遍历tf.data.Dataset。但是如果再次调用train()，它将像上次一样遍历tf.data.Dataset的相同子集(假设shuff
浏览 1提问于2019-01-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
