我正在尝试创建一个使用TensorFlow Dataset API和Pandas来读取多个CSV文件的管道。但是，使用flat_map方法会产生错误。但是，如果我使用map方法，我能够构建代码并在会话中运行它。这是我正在使用的代码。我已经在TensorFlow Github库中打开了 issue。但很明显，这不
浏览 5提问于2018-03-06得票数 2
回答已采纳
我正在将TensorFlow代码从旧的队列接口更改为新的。使用旧接口，我可以将num_threads参数指定到tf.train.shuffle_batch队列。但是，控制Dataset API中线程数量的唯一方法似乎是在map函数中使用num_parallel_calls参数。但是，我使用的是flat_map函数，它没有这样的参数。问题：有办法控
浏览 0提问于2017-11-21得票数 20
回答已采纳
我正在使用dataset API，读取数据如下：dataset= dataset.map(lambda str: tf.parse_single_example(str, feature_schema))
现在我想使用flat_map来过滤掉一些样本，同时在训练时动态地复制其他
浏览 3提问于2018-05-25得票数 6
回答已采纳
作为窗口功能的一部分，我有以下代码： dataset = dataset.window我尝试使用这样的函数： return window_ds.batch(window_s
浏览 1提问于2020-10-17得票数 0
回答已采纳
1回答
增强flat_map批量插入
、、、、
我有一个维护boost::flat_map的C++程序。它以(key，value)的形式接收实时命令。如果值为0，则应删除flat_mapkey (如果存在)。如果value为非零值，则如果条目已经存在，则应在flat_map中将flat_mapkey设置为value，或者，如果条目不存在，则应插入该条目。 但是，这些命令并不是一个接一个地出现。相反，它们是成批出现的，程序只需要在处理完每一整批命令后对flat_map进行排序。它不需要在处理一批命令的
浏览 28提问于2021-06-15得票数 2
回答已采纳
我正在使用TensorFlow 2.0测试版。我有一个TensorFlow Dataset，其中每个元素都是一批特性列:张量的元组，每个元组都具有batch_size记录的特定特性的值。我需要将这些记录扁平化为TFRecords，我想使用TensorFlow Dataset函数进行序列化。扁平的记录不需要按确定的顺序产生。下面是一些示例代码，演示了我要完成的任务：
batch_si
浏览 2提问于2019-07-11得票数 1
回答已采纳
我已经用以下三个分区获取了CelebA数据集>>> datasets = celeba_bldr.as_dataset例如，我需要将火车和验证结合在一起，或者可能的话，将它们合并在一起，然后根据我自己不同的主题--不相交的标准来分割它们。有这样的事吗？
我找不到在docs 中这样做的任何选项。
浏览 0提问于2019-06-11得票数 3
回答已采纳
在Tensorflow 1.12中，介绍了tf.data.Dataset.reduce()和tf.data.Dataset.window()方法。在发布说明中：
“新的tf.data.Dataset.reduce() API允许用户使用用户提供的减少函数将有限的数据集简化为单个元素。”新的tf.data.Dataset.window() API允许用户创建有限的</em
浏览 0提问于2018-10-24得票数 2
这里有一个非常简单的代码，我只是为了一个例子而使用i8和Vec::iter，但是实际的类型和迭代器更复杂(所以下面不要挂起&i8 )。让我们说 bars: Vec<RwLock<Vec<i8>>>,如何在内部向量上实现flat_map：由于临时引用和生存期，下面的代码不编译：
impl
浏览 11提问于2022-04-10得票数 0
我需要从Lua脚本中使用Redis HMGET，并在下面的代码中提取特定的值。table_key, hkey1, hkey2, ...)返回一个平面的{hkey1, val1, hkey2, val2, ...}数组local function flat_map_get(flat_map, hash_key) while flat_map[i] do
if flat_map[i] ==
浏览 2提问于2015-12-16得票数 6
我的模型使用每个输入批次中按时间顺序排列的序列。因此，我要在混洗输入数据之前创建批处理。这带来了批处理总是在整个数据集中包含相同的数据样本的问题(从相同的索引开始-被batch_size移位)，我通过缓存初始数据集和从跳过的数据集中采样解决了这个问题，但是这会非常快地占用内存(尽管我的数据集只有shift=window_shift, stride=window_stride, drop_remainder=True)
浏览 0提问于2018-11-24得票数 4
3回答
我想问一下，目前的数据集API是否允许执行过采样算法？我处理的是高度不平衡的类问题。我在想，在数据集解析(即在线生成)过程中对特定类进行过采样会很好。我已经看到了rejection_resample函数的实现，但是这会删除样本而不是复制它们，并且它会减慢批处理的生成速度(当目标分布与初始分布有很大不同时)。我想要实现的事情是:举个例子，看看它的类概率，决定是否复制它。然后调用dataset.shuffle(...)
浏览 1提问于2017-11-11得票数 11
我正在尝试使用flink对多个数据流进行数据丰富。这就是我所采取的方法。(kafka_producer)
我在状态下保存必要的数据，并使用flat_map函数将其附加到所有流中。最后，增加一个卡夫卡水
浏览 1提问于2021-10-11得票数 0
我有一堆JSON数组文件(准确地说是AVRO)，每个文件都会产生多个训练Keras模型的样本。利用和的思想，我能够将输入管道并行化。无法解决如何设计generator(n)来划分处理文件的工作。N)ds = ds.map(process_file, num_parallel_calls=N)
ds = ds.prefetch(prefe
浏览 0提问于2018-09-05得票数 7
回答已采纳
2回答
我有两个Tensorflow数据集，我分别处理这些数据集，以便为特性和目标获取不同的窗口：window_size_y = 2[2, 3, 4] [50, 60][4, 5, 6] [70, 80]当我最终使用model.fit(ds_x, ds_y)将这两个数据集输入模型时，我得到以下错误：
ValueError: `y` argument is
浏览 27提问于2022-06-30得票数 1
回答已采纳
我在使用tf.contrib.data.Dataset API时遇到了困难，我想知道你们中的一些人是否能帮上忙。在伪代码中，为了使它更清晰，它将如上面所示。)，并在这些标记序列上应用一个函数，该函数将产生不同数量的跳过--需要扁平化。的API天真地这样做，但是我被困住了，我可以这样做： tf.contrib.data.Dataset.range(N)
.map(la
浏览 2提问于2017-08-07得票数 2
回答已采纳
1回答
我有一个map：HashMap<&str, Vec<&str>>，我正在尝试创建一个反向查找映射HashMap<&str, &str>，它从原始向量中的每个元素指向原始键。/ Below doesn't work .iter()
.flat_map(|(&k, v)| v.iter
浏览 9提问于2020-12-31得票数 4
回答已采纳
我正在尝试使用GPU API来加速我的代码并防止GPU数据饥饿，但是有一件事阻止了我适应它，那就是在多次调用训练op时能够使用相同的批处理。假设我的数据集设置为dataset = dataset.shuffle(dataset_size)dataset<
浏览 1提问于2018-10-11得票数 0
回答已采纳
在tensorflow Dataset管道中，我想定义一个自定义映射函数，它接受单个输入元素(数据样本)并返回多个元素(数据样本)。 return [[i, i+1, i+2]]
浏览 1提问于2018-01-27得票数 16
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号