tf.io

一、构成

1、模块

• gfile模块

2、类

• FixedLenFeature:用于解析固定长度输入特性的配置。
• FixedLenSequenceFeature:将变长输入特征解析为张量的配置。
• PaddingFIFOQueue:一个FIFOQueue支持通过填充来批量处理可变大小的张量。
• PriorityQueue:按优先级顺序对元素进行排队的队列实现。
• QueueBase:队列实现的基类。
• RandomShuffleQueue:按随机顺序对元素进行排队的队列实现。
• SparseFeature:用于解析示例中的稀疏输入特性的配置。
• TFRecordCompressionType:记录的压缩类型。
• TFRecordOptions:用于操作TFRecord文件的选项。
• TFRecordWriter:将记录写入TFRecords文件的类。
• VarLenFeature:用于解析可变长度输入特性的配置。

3、函数

• decode_and_crop_jpeg():将jpeg编码的图像解码并裁剪成uint8张量。
• decode_base64():解码web安全的base64编码字符串。
• decode_bmp():将bmp编码的图像的第一帧解码为uint8张量。
• decode_compressed():减压字符串。
• decode_csv():将CSV记录转换为张量。每一列映射到一个张量。
• decode_gif():将gif编码图像的帧解码为uint8张量。
• decode_image():用于decode_bmp、decode_gif、decode_jpeg和decode_png的函数。
• decode_jpeg():将jpeg编码的图像解码为uint8张量。
• decode_json_example():将json编码的示例记录转换为二进制协议缓冲区字符串。
• decode_png():将png编码的图像解码为uint8或uint16张量。
• decode_proto():op从序列化协议缓冲区消息中提取字段到张量中。
• decode_raw():将原始字节字符串转换成张量。(弃用参数)
• deserialize_many_sparse():从序列化的迷你批处理反序列化并连接sparsetenators。
• encode_base64():将字符串编码为web安全的base64格式。
• encode_jpeg():jpeg编码图像。
• encode_proto():op序列化输入张量中提供的protobuf消息。
• extract_jpeg_shape():提取jpeg编码的图像的形状信息。
• is_jpeg():检查“内容”是否编码JPEG图像的便利函数。
• match_filenames_once():保存匹配模式的文件列表，因此只计算一次。
• matching_files():返回匹配一个或多个glob模式的文件集。
• parse_example():将示例原型解析为张量的dict。
• parse_sequence_example():解析一批SequenceExample原型。
• parse_single_example():解析一个示例原型。
• parse_single_sequence_example():解析一个SequenceExample原型。
• parse_张量():转换序列化的张量流。把张量变成张量。
• read_file():读取和输出输入文件名的全部内容。
• serialize_many_():将N-minibatch sparse张量序列化为[N, 3]张量。
• serialize_():将稀疏张量序列化为一个3向量(1-D张量)对象。
• serialize_张量():将张量转换为序列化的张量。
• tf_record_iterator():从TFRecords文件中读取记录的迭代器。(弃用)
• write_file():以输入文件名将内容写入文件。创建文件和递归
• write_graph():将图形原型写入文件。

二、重要函数和类

1、tf.io.parse_single_example

解析单个Example协议。

tf.io.parse_single_example(
    serialized,
    features,
    name=None,
    example_names=None
)

与parse_example类似，除了:对于稠密张量，返回的张量与parse_example的输出相同，除了没有批处理维数，输出形状与dense_shape中给出的形状相同。对于稀疏量，删除索引矩阵的第一个(batch)列(索引矩阵是列向量)，值向量不变，删除形状向量的第一个(batch_size)条目(现在是单个元素向量)。可以通过使用parse_example批量处理示例原型而不是直接使用这个函数来看到性能优势。

参数：

• serialized:一个标量字符串张量，一个序列化的例子。有关详细信息，请参见_parse_single_example_raw文档。
• features:dict将特性键映射到FixedLenFeature或VarLenFeature值。
• name:此操作的名称(可选)。
• example_names:(可选)标量字符串张量，关联的名称。

返回值：

• 一个dict映射特征键到张量和稀疏张量值。

可能产生的异常：

• ValueError: if any feature is invalid.

2、tf.io.FixedLenFeature

用于解析固定长度输入特性的配置。若要将稀疏输入视为密集输入，请提供default_value;否则，对于任何缺少此特性的示例，解析函数都将失败。

域：

• shape:输入数据的形状
• dtype:输入的数据类型
• default_value:如果示例缺少此特性，则使用的值。它必须兼容dtype和指定的形状

3、tf.io.VarLenFeature

用于解析可变长度输入特性的配置。

域：

• dtype:输入的数据类型