腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >Dataset API --用于批处理的可变输入大小

问Dataset API --用于批处理的可变输入大小
EN

Stack Overflow用户

提问于 2018-05-20 06:48:40

回答 1查看 112关注 0票数 0

我正在训练一个可以接受可变输入大小的模型(它是一个完全卷积的网络)，它有一个相当复杂的输入管道。

这就是为什么我必须使用dataset api的from_generator方法来处理所有的逻辑。

但是，我希望能够在不同大小的图像批次上训练网络。例如，对于第一批，输入图像的大小可以是200x200，但是对于下一批，输入图像的大小可以是300x300。

我想对不同的尺寸范围(例如，从100x100到2000x2000)随机化这个过程。

使用feed_dict这将非常简单:我将在每个训练步骤上准备一批具有特定图像大小的图像。

有没有办法使用(高性能) dataset api来实现这一点，这样我就可以在不做太多工作的情况下利用多线程/预取？

tensorflow-datasets

tensorflow

回答 1

Stack Overflow用户

发布于 2018-05-21 20:06:25

最好的办法是从您希望支持的每个不同小批量大小的数据集开始，在每个这样的数据集中进行批处理，然后在构建迭代器之前对它们进行交错。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/50432396

复制

批处理 %~0_批处理输入

https 网络安全

全栈程序员站长

2022/11/05

1.9K0

如何使用TensorFlow中的Dataset API（使用内置输入管道，告别‘feed-dict’ ）

tensorflow 深度学习人工智能

翻译 | AI科技大本营参与 | zzq 审校 | reason_W 本文已更新至TensorFlow1.5版本我们知道，在TensorFlow中可以使用feed-dict的方式输入数据信息，但是这种方法的速度是最慢的，在实际应用中应该尽量避免这种方法。而使用输入管道就可以保证GPU在工作时无需等待新的数据输入，这才是正确的方法。幸运的是，TensorFlow提供了一种内置的API——Dataset，使得我们可以很容易地就利用输入管道的方式输入数据。在这篇教程中，我们将介绍如何创建和使用输入管道以

AI科技大本营

2018/04/26

2.8K0

如何使用TensorFlow中的Dataset API（使用内置输入管道，告别‘feed-dict’ ）

批处理命令for循环_批处理获取某个目录大小

java https 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/183021.html原文链接：https://javaforall.cn

全栈程序员站长

2022/09/27

5960

一个小问题：深度学习模型如何处理大小可变的输入

机器学习神经网络深度学习人工智能 keras

前几天在学习花书的时候，和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入，深度学习模型如何处理？”这个更大的问题。因为这里面涉及到一些概念，我们经常搞混淆，比如RNN单元明明可以接受不同长度的输入，但我们却在实际训练时习惯于使用padding来补齐；再比如CNN无法直接处理大小不同的输入，但是去掉全连接层之后又可以；再比如Transformer这种结构，为何也可以接受长度不同的输入。因此，这里我想总结一下这个问题：

beyondGuo

2021/06/29

3K0

PyTorch的Dataset 和TorchData API的比较

数据处理 bash

深度神经网络需要很长时间来训练。训练速度受模型的复杂性、批大小、GPU、训练数据集的大小等因素的影响。

deephub

2023/02/01

9180

Flink入门——DataSet Api编程指南

编程算法 flink 大数据 mapreduce java

Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天，Flink正在飞速发展。由于性能的优势和兼顾批处理，流处理的特性，Flink可能正在颠覆整个大数据的生态。

小马哥学JAVA

2022/12/09

1.2K0

Flink实战(四) - DataSet API编程

scala flink 大数据编程算法

◆ DataSet API开发概述 ◆ 计数器 ◆ DataSource ◆ 分布式缓存 ◆ Transformation ◆ Sink

JavaEdge

2022/11/30

7970

Flink入门（五）——DataSet Api编程指南

kafka

大数据流动

2020/01/14

1.6K0

如何批处理图片大小？怎样压缩图片大小？

图片处理 windows 文件存储

在一些美术设计人员或者是影楼工作后期人员的工作当中，经常需要对许许多多的图片进行处理，包括设计图片或者是修整图片。图片设计和修图是非常专业的一件事情，在普通的制图软件当中，有许许多多的快捷键以及图片处理技巧，可以用最快的方式将图片处理成想要的效果。现在来了解如何批处理图片大小。

用户8715145

2021/12/30

2K0

CA2351:确保 DataSet.ReadXml() 的输入受信任

文件存储数据分析网络安全安全

调用或引用了 DataSet.ReadXml 方法，并且该方法不在自动生成的代码内。

呆呆

2022/02/20

3750

python3函数可变输入参量

python https 网络安全编程算法

通常我们在python中定义一个函数的时候，需要给出明确的函数输入参量，比如对于一个数学函数

DechinPhy

2021/05/21

1.3K0

批处理字符串截取_批处理字符串比较大小

windows https 网络安全

全栈程序员站长

2022/11/07

7950

TensorFlow全新的数据读取方式：Dataset API入门教程

tensorflow 人工智能

作者：何之源首发于知乎专栏：AI Insight 量子位已获授权编辑发布转载请联系原作者 Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。此前，在TensorFlow中读取数据一般有两种方法：使用placeholder读内存中的数据使用queue读硬盘中的数据（关于这种方式，可以参考我之前的一篇文章：十图详解tensorflow数据读取机制）文章地址： https://zhuanlan.zhihu.com/p/2

量子位

2018/03/23

8070

TensorFlow全新的数据读取方式：Dataset API入门教程

其他

作者 | 何之源 Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。此前，在TensorFlow中读取数据一般有两种方法：使用placeholder读内存中的数据使用queue读硬盘中的数据（关于这种方式，可以参考我之前的一篇文章：十图详解TensorFlow数据读取机制https://zhuanlan.zhihu.com/p/27238630）相Dataset API同时支持从内存和硬盘的读取，相比之前的两种方法在语法

用户1737318

2018/06/05

1.1K0

12、API - 输入设备（API - Input Devices）

button factory gpio repeat time

官网地址：https://gpiozero.readthedocs.io/en/stable/api_input.html

墨文

2020/02/28

4300

TensorFlow全新的数据读取方式：Dataset API入门教程

其他

Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。此前，在TensorFlow中读取数据一般有两种方法：使用placeholder读内存中的数据使用queue读硬盘中的数据（关于这种方式，可以参考我之前的一篇文章：十图详解tensorflow数据读取机制（http://t.cn/RSSY56v））相Dataset API同时支持从内存和硬盘的读取，相比之前的两种方法在语法上更加简洁易懂。此外，如果想要用到TensorFl

AI研习社

2018/03/16

1.1K0

Dataset - COCO Dataset 数据特点

深度学习

COCO数据集有超过 200,000 张图片，80种物体类别. 所有的物体实例都用详细的分割mask进行了标注，共标注了超过 500,000 个物体实体.

AIHGF

2019/02/18

1.5K0

开发 | TensorFlow全新的数据读取方式：Dataset API入门教程

tensorflow api

AI科技评论按：本文作者何之源，该文首发于知乎专栏AI Insight （https://zhuanlan.zhihu.com/ai-insight），AI科技评论获其授权转载。 Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。此前，在TensorFlow中读取数据一般有两种方法：使用placeholder读内存中的数据使用queue读硬盘中的数据（关于这种方式，可以参考我之前的一篇文章：十图详解tensorflow数据

AI科技评论

2018/03/14

1K0

开发 | TensorFlow全新的数据读取方式：Dataset API入门教程

教程 | 如何使用TensorFlow中的高级API：Estimator、Experiment和Dataset

其他

选自Medium 作者：Peter Roelants 机器之心编译参与：李泽南、黄小天近日，背景调查公司 Onfido 研究主管 Peter Roelants 在 Medium 上发表了一篇题为《Higher-Level APIs in TensorFlow》的文章，通过实例详细介绍了如何使用 TensorFlow 中的高级 API（Estimator、Experiment 和 Dataset）训练模型。值得一提的是 Experiment 和 Dataset 可以独立使用。这些高级 API 已被最新发布

机器之心

2018/05/08

3.4K0

教程 | 如何使用TensorFlow中的高级API：Estimator、Experiment和Dataset

Spark基础全解析

spark api mapreduce sql 数据库

第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。第二，只提供Map和Reduce两个操作。举个例子，两个数据集的Join是很基本而且常用的功能，但是在MapReduce的世界中，需要对这两个数据集做一次Map和Reduce才能得到结果。第三，在Hadoop中，每一个Job的计算结果都会存储在HDFS文件存储系统中，所以每一步计算都要进行硬盘的读取和写入，大大增加了系统的延迟。第四，只支持批数据处理，欠缺对流数据处理的支持。

luozhiyun

2020/03/19

1.3K0

相似问题

具有可变批处理大小的TensorFlow DataSet `from_generator`

如何将Tensorflow Dataset管道用于可变长度输入？

使用TensorFlow Dataset api导入可变长度的输入/输出对

123

当批处理大小大于1时，tensorflow dataset API不能稳定工作

将LSTM用于固定大小输入和可变大小输入的区别

123

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

社区富文本编辑器全新改版！诚邀体验～

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

问Dataset API --用于批处理的可变输入大小
EN