我正在尝试创建一个TensorFlow数据集，该数据集接受CSV文件的路径名列表，并创建批量训练数据。首先，我创建了一个解析函数，它使用Pandas读取前n行。我将此函数作为Dataset中'map‘方法的参数 print(file_name.decode())= tf.data.Dataset.from_tensor_slices(file_n
浏览 8提问于2018-03-04得票数 0
回答已采纳
1回答
深度神经网络内存不足
、、、、
我用Tensorflow编写了一个模型，我的PC内存用完了，然后我在Google Colab上尝试了同样的方法，得到了同样的结果。我的数据集形状最初是这样的： (541909, 8) 问题是我的数据集有一个名为'Description'的行，看起来是这样的： 0 WHITE HANGING HEART T-LIGHT HOLDER我的dataset有超过500000行，&
浏览 14提问于2020-08-03得票数 1
回答已采纳
我正在尝试创建一个使用TensorFlow Dataset API和Pandas来读取多个CSV文件的管道。但是，使用flat_map方法会产生错误。但是，如果我使用map方法，我能够构建代码并在会话中运行它。这是我正在使用的代码。我已经在TensorFlow Github库中打开了 issue。但很明显，这不是一个错误，他们让我在这里发帖。当我使用</e
浏览 5提问于2018-03-06得票数 2
回答已采纳
1回答
_, c = sess.run([optimizer, cost], feed_dict={x: epoch_x, y: epoch_y})def read_image_dataset_tfrecordfile, 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.],图像是float32作为我网络的输入tf.nn.dropout(fc, dropout_rate)
浏览 1提问于2018-07-13得票数 0
回答已采纳
随着Keras2在TensorFlow和TensorFlow 2.0中的实现即将到来，你是否应该将Keras ImageDataGenerator与flow_from_directory或TensorFlow的tf.data一起使用，后者现在也可以与Keras的fit_genearator一起使用？这两种方法将通过服务于不同的目的而占据一席之地，还是tf.data将成为新的方式，而Keras生成器将
浏览 30提问于2019-04-11得票数 9
回答已采纳
1回答
我正在尝试学习新的Tensorflow API，我有点不知道从哪里获得输入批处理张量的句柄，这样我就可以使用例如tf.image来操作和增强它们。这是我目前的网络和管道：# trainX [num_image, height, width, channels]Dataset API创建2个数据集，以便在列车循环中
浏览 2提问于2018-04-14得票数 0
回答已采纳
我有350 K行和200栏的熊猫数据。当试图使用dataset api构造输入管道时，我会得到内存错误。当我只输入10K行时，一切都正常，但对所有行都没有。而且，当使用tf.estimator.inputs.pandas_input_fn时，一切都很好。)) dataset = <em
浏览 0提问于2018-09-28得票数 1
回答已采纳
我正在使用Tensorflow 2.0的数据模块并使用tf.data.Dataset对象来存储我的特性，为专有数据构建一个输入管道。我已经开发了一些函数，可以访问所需的所有数据，并且能够在列上使用Dataset的映射函数来获取数据，但我不知道如何向我的tf.data.Dataset对象中添加一个新列来保存新的数据。我有所有的方法
浏览 5提问于2019-08-07得票数 6
2回答
"user_id": x["user_id"]movies = movies.map(lambda x: x["movie_title"])# Ratings data.
ratings = pd.rea
浏览 0提问于2020-09-29得票数 6
回答已采纳
都是黑色的，但假设它们是按照某种规则设计的，而且颜色也一样。)，那么建议的方法是：
为生成的模式提供种子数据，例如，第一个单元格是颜色为蓝色的字符“x”。我想实现一些类似的东西，在风格转换与艺术/照片，和音乐/MIDI数据(见:谷歌
浏览 0提问于2018-04-19得票数 1
回答已采纳
我想从一个生成器创建一个dataframe管道，该生成器使用pandas数据帧在磁盘上查找图像路径并将它们加载到管道中。在将生成器传递给tf.data.Dataset.from_generator时，我尝试在args参数中使用.values，但我必须重写我使用数据帧编写的所有代码，以找到指向正确图像的路径。, tf.float32), args = ([train_families, train_positive_relations]
浏览 33提问于2019-06-14得票数 2
我试图从使用py_func的函数返回数据集，以便在tensorflow dataset管道/api中使用。但是，py_func抛出一个错误：
TypeError: Expected DataType for argument 'Tout' not <class 'tensorflow.python.data.ops.dataset_ops.Dataset最起码的<
浏览 0提问于2018-09-11得票数 0
2回答
我知道你可以这样做：df = pd.read_csv('mushrooms.csv')但我想要的是将所有类别更改为0或1。例如，CSV文件中的头文件是favColor和favCookie，favColor的选项是“红色”、“橙色”和“绿色”，favCookie的选项是“巧克力”和“糖”。如果其中一行是“red”<
浏览 3提问于2018-01-01得票数 0
我正在尝试用Dataset API设计一个输入管道。我正在处理镶木地板文件。有什么好方法可以将它们添加到我的管道中？
浏览 3提问于2018-08-08得票数 7
最好是从一个项目中获得一个用例，并解释每个用例的使用情况。提前谢谢。
浏览 4提问于2021-01-30得票数 1
回答已采纳
我正在尝试tensorflow的夜间1.4，因为我需要来粘贴一些可变长度的数据集。这个简单的代码(来自的想法)：it2 = Dataset.range(5).make_one_shot_iteratordas_dataset = Dataset.from_generator(_<e
浏览 4提问于2017-10-01得票数 8
回答已采纳
我有一个输入管道，其中的样本是动态生成的。我使用keras和自定义ImageDataGenerator以及相应的Iterator来获取内存中的示例。假设我的设置中的keras使用的是feed_dict (这个假设对我来说是一个问题)，我正在考虑通过切换到原始的tensorflow + Dataset.from_generator
浏览 2提问于2017-09-27得票数 2
回答已采纳
我正在使用Tensorflow Dataset API来读取TFRecords文件，但是GPU的使用率仍然很低(10%)。我认为原因是在数据被输入到sess.run()之前对其进行预处理。GPU使用量的10%~15%。我认为原因是_data_generate()在处理numpy数组上花费了太多的时间。但我不知道怎么改进我的管道。这是我的问题。根据和</em
浏览 0提问于2017-12-27得票数 1
在tensorflow中，我已经看过许多关于使用LSTMs序列的指南，但我仍然不确定当前在读取和处理数据方面的最佳实践--特别是应该在何时使用tf.data.Dataset API。在我的情况下，我的features有一个文件features，并希望执行以下两项任务：
labelsi = featuresi + h，获得滚动窗口-为了
浏览 3提问于2018-01-14得票数 20
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
