读取其中用于编码的要素未知的TFRecord文件
TFRecord文件是一种用于存储大规模数据集的二进制文件格式，常用于TensorFlow深度学习框架中。TFRecord文件采用了一种高效的序列化方式，可以将数据以二进制形式存储，提高了数据读取和处理的效率。
TFRecord文件的编码要素包括特征（Feature）和示例（Example）。特征是TFRecord文件中的最小单位，可以是整数、浮点数、字符串等数据类型。示例是由多个特征组成的数据实例。
TFRecord文件的优势在于：
- 高效存储：TFRecord文件采用二进制格式存储数据，占用空间较小，适合存储大规模数据集。
- 快速读取：TFRecord文件可以通过并行读取方式快速加载数据，提高数据读取的效率。
- 灵活性：TFRecord文件支持存储多种数据类型，可以灵活应用于不同的场景。
TFRecord文件的应用场景包括但不限于：
- 训练数据集存储：TFRecord文件可以用于存储训练数据集，方便在深度学习训练过程中快速读取数据。
- 数据预处理：TFRecord文件可以用于存储经过预处理的数据，减少数据预处理的时间开销。
- 数据传输：TFRecord文件可以用于将数据传输到不同的机器或系统，方便数据共享和使用。
腾讯云提供了一系列与TFRecord文件相关的产品和服务，包括：
- 腾讯云对象存储（COS）：用于存储TFRecord文件，提供高可靠性和高可扩展性的存储服务。链接地址：https://cloud.tencent.com/product/cos
- 腾讯云机器学习平台（Tencent Machine Learning Platform，TMLP）：提供了深度学习训练和推理的平台，支持TFRecord文件的读取和处理。链接地址：https://cloud.tencent.com/product/tmplp
- 腾讯云数据处理（Data Processing）：提供了数据处理和分析的服务，支持TFRecord文件的读取和转换。链接地址：https://cloud.tencent.com/product/dp
通过使用腾讯云的相关产品和服务，可以方便地读取和处理TFRecord文件，提高数据处理的效率和可靠性。
相关·内容
我得到了一个TFRecord数据文件filename = train-00000-of-00001，其中包含未知大小的图像以及其他信息。我知道我可以使用dataset = tf.data.TFRecordDataset(filename)打开数据集。
如何从该文件中提取图像以保存为numpy数组？
我也不知道TFRecord文件中是否保存了其他信息，如标签或分辨率。我怎样才能得到这些信息？我怎样才能把它们保存成一个数字数组呢？
我通常只使用numpy数组，不熟悉TFRecord数据文件。
浏览 3提问于2019-02-15得票数 3
回答已采纳
1回答
我的印象是有一个预先计算的Tfrecord文件是给您输入函数的最有效的方式。但是，我一直看到，其中输入函数引用磁盘上的原始文件，并当场进行解码。
创建Tfrecord文件是否有好处，或者在输入函数中解码和准备每个示例是否同样有效(而不是让输入函数只对Tfrecord进行解码)？
在输入函数中使用直接原始文件时，如上面的示例所示，您将在哪里添加数据增强步骤？
我过去这样做的方式是，我有一个单独的脚本，如果引用某些文件，它将生成一个包含数据增强的Tfrecord文件，作为其中的一部分。例如，Tfrecord中的前n个图像是一个给定的图像，然后是它的随机转换等等。然后输入函数简单地解
浏览 0提问于2018-07-06得票数 3
回答已采纳
我们有tfrecord文件，其中每个tfrecord文件包含一个单独的示例，但其中的功能包含一个值列表。我们通过以下方式使用tf.data.Dataset：
n_rows_per_record_file = 100
def parse_tfrecord_to_example(record_bytes):
col_map = {
"my_col": tf.io.FixedLenFeature(
shape=n_rows_per_record_file, dtype=tf.int64
)}
ds = (
tf.data.TFRec
浏览 34提问于2021-05-22得票数 1
回答已采纳
我是Tensorflow的新用户。我想用它来训练一个有2M张图像的数据集。我在caffe中使用lmdb文件格式做了这个实验。
在阅读了Tensorflow的相关文章后，我意识到TFRecord是最适合这样做的文件格式。因此，我正在寻找使用TFRecord数据的完整CNN示例。我注意到与图像相关的教程( 和中的mnist和cifar10 )提供了一种不同的二进制文件格式，其中一次性加载整个数据集。因此，我想知道是否有人知道这些教程(mnist和cifar10)是否可以使用TFRecord数据(用于中央处理器和图形处理器)。
浏览 0提问于2016-10-03得票数 3
1回答
我有5个tfrecords文件，每个对象一个。在训练时，我希望从所有5个tfrecord中平等地读取数据，即如果我的批处理大小是50，我应该从第一个tfrecord文件中获得10个样本，从第二个tfrecord文件中获得10个样本，依此类推。目前，它只是从所有三个文件中顺序读取，即我从同一记录中获得50个样本。有没有办法从不同的tfrecords文件中采样？
浏览 5提问于2018-02-09得票数 5
回答已采纳
我很难从TFRecord文件中读取“多”(超过500个)事件。如果我创建一个包含500个事件的文件，一切都很好，但是当我试图读取和解析该文件时，超过500个会导致错误：
W tensorflow/core/framework/op_kernel.cc:993] Invalid argument: Could not parse example input, value:
...
UnicodeDecodeError: 'utf8' codec can't decode byte 0xb5 in position 40: invalid start byte
图像以形状(
浏览 6提问于2017-07-12得票数 0
回答已采纳
我需要帮助来处理一个错误...我试着在Youtube上用lazy tech制作的教程创建一个物体检测程序。本教程在github 上使用此存储库
当我尝试为我的训练数据和测试数据生成tfrecord文件时，出现了一个错误。我在我的终端上运行以下代码：
python generate_tfrecord.py --csv_input=data/train_labels.csv --output_path=data/train.record
终端返回此错误：
File "C:\Users\Jules\AppData\Local\Programs\Python\Python39\lib\sit
浏览 0提问于2021-10-13得票数 1
我是keras的新手，在这里我正在尝试迁移学习：
然而，我的数据集不是二进制的，并且我有tfrecord文件。我可以在tensorflow中读取文件。我不想将图像作为输入提供给网络，因为输入来自预先训练的模型。如何在Keras中传递ImageDataGenerator类中的图像和标签。
浏览 0提问于2019-07-12得票数 1
TensorFlow对象检测API更喜欢TFRecord文件格式。MXNet和Amazon似乎使用RecordIO格式。这两种二进制文件格式有什么不同，还是它们是相同的？
浏览 0提问于2018-11-09得票数 4
回答已采纳
2回答
我想测试一些文件字符编码检测功能，其中我输入的文件类型为UTF-8，windows-1252，ISO-8859-1等。
我还想输入带有未知字符编码的文件，这样用户就可以被警告了。
我还没有找到一种很好的方法来创建具有未知或无法检测到的字符编码的文件。
浏览 0提问于2019-06-26得票数 0
回答已采纳
因为我想获取TFRecord文件中的示例数，所以我使用的当前方法是
len([x for x in tf.python_io.tf_record_iterator(tf_record_file)])
但它是缓慢的。我的TFRecord文件中的所有示例都有完全相同的长度，所以我想知道是否有一种方法可以获得整个TFRecord文件(xxx.tfrecord)的大小(字节数)和其中一个示例的大小(字节数)？那我想我可以用
number_of_Examples =( TFRecord文件的长度)/(第一个示例的长度)=(xxx.tfrecord中所有示例的字节)/(一个实例的字节)
以便更快地
浏览 2提问于2018-08-16得票数 1
回答已采纳
3回答
我想读几个文本文件(如CSV)，但我不知道编码。
由于文本文件可能包含特殊字符，如umlauts，选择正确的编码似乎是至关重要的。
new BufferedReader(new InputStreamReader(resource.getInputStream(), encoding));
我试着用ISO_8859_1阅读，但它不能很好地使用编码的umlauts。因此，我尝试了UTF-8，这是可行的。
但我不知道将来这是否也会导致不同文件的问题。我以前从来没有读过一个文件，其中编码的文件是。
那么，如何最好地使用未知编码来读取文件呢？
浏览 7提问于2015-01-20得票数 2
回答已采纳
我可以用tensorflow来写和读TFrecord文件。如何快速获取TFRecord文件中包含的条目总数？有没有获取计数的API？
浏览 2提问于2016-08-29得票数 2
回答已采纳
1回答
我正在编写一个python代码来创建tfrecord文件，该文件将A和C作为特性存储，但我很难从TFrecord文件中打印出A、C值。有人能看看这个吗？
#Writing TFrecord file
import tensorflow as tf
import numpy as np
writer=tf.python_io.TFRecordWriter('output.tfrecord')
A=[1,3,4]
C=[1.1, 2.1, 3.1]
feature_A=tf.train.Feature(int64_list=tf.train.Int64List(valu
浏览 1提问于2018-06-09得票数 0
回答已采纳
我创建了一个大型.tfrecords文件，没有看到任何错误。但是，在培训期间，当TfRecordReader到达.tfrecord文件末尾的某个地方时，我看到了“截断记录在XXXX”的错误。如何快速检查.tfrecord文件是否确实已损坏？如果是这样的话，我如何快速修复文件(可以丢弃最后几个键值对)？
浏览 0提问于2016-10-22得票数 6
回答已采纳
0回答
我有一个文本文档(电子邮件)的.tfrecord数据集，其中有相应的标签'0‘或'1’(针对垃圾邮件/非垃圾邮件)。所有这些数据集都已经以.tfrecord文件的形式存在。我在试着把这些电子邮件变成一个词袋状的表示。我有做这件事的所有帮助器方法，但我仍然不熟悉tfrecords。这就是我到目前为止要读取的tf_record文件：
def read_from_tfrecord(filenames):
tfrecord_file_queue = tf.train.string_input_producer([filenames], name='queue'
浏览 1提问于2017-12-07得票数 1
我是tensorflow TFRecord的新手。因此，我正在研究Tensorflow对象检测API代码
但是我找不到加载tfrecord的代码。我想他们使用.config文件来加载tfrecord，因为我在配置文件中找到了这个。
tf_record_input_reader {
input_path: "/path/to/train_dataset.record-?????-of-00010"
}
有人能帮上忙吗？
浏览 20提问于2018-08-04得票数 0
我想做一个通用的特征提取器，它也可以将一个新的类分类为模型中的未知类。除了基于距离的矩阵之外，还有什么好的技术可用吗？ 目前我使用的是Triplet loss，其中由于alpha值较小，我的Triplet训练损失在某些点上变为+0.00000。那么，将alpha增加到非常大的数量(如100 )有什么缺点吗？ 谢谢你!！
浏览 19提问于2020-01-25得票数 0
我正在尝试获取用于创建eval.tfrecord的.jpg文件。
我在使用python打开文件并在文件上运行正则表达式来查找文件中随机列出的所有.jpg文件时遇到了问题。
现在，我使用以下代码打开了该文件，并以结构化形式看到了我需要的.jpg文件之一：
feature {
key: "image/source_id"
value {
bytes_list {
value: "path/to/image.jpg"
}
}
}
下面是获得上述结果的代码：
#From the Tensorflow
浏览 11提问于2019-07-11得票数 1
我正在阅读TensorFlow 中的代码。下面的代码是从TensorFlow文件创建TFRecord数据集的部分：
ds = tf.data.TFRecordDataset.list_files(tfrecord_file_names)
ds = ds.apply(interleave_ops.parallel_interleave(tf.data.TFRecordDataset, cycle_length=10))
我试图更改此代码以直接从JPEG图像文件创建数据集：
ds = tf.data.Dataset.from_tensor_slices(jpeg_file_names)
ds =
浏览 2提问于2018-04-26得票数 6
回答已采纳
TLDR;我的问题是如何从TFRecords加载压缩视频帧。
我正在建立一个数据管道，用于在大型视频数据集()上培训深度学习模型。为此，我使用TensorFlow，更具体地说，tf.data.Dataset和TFRecordDataset结构。由于数据集包含10秒的300 k视频，因此需要处理大量的数据。在训练过程中，我想从视频中随机抽取64帧，因此快速随机采样是非常重要的。为了实现这一点，在培训期间可能会出现一些数据加载场景：
示例来自视频。使用ffmpeg或OpenCV加载视频和示例帧。在视频中寻找并不理想，解码视频流要比解码JPG慢得多。
JPG图像。通过将所有视频帧提取为JPG
浏览 5提问于2018-01-04得票数 9
回答已采纳
1回答
假设我有3个tfrecord文件，分别是neg.tfrecord、pos1.tfrecord、pos2.tfrecord。 我使用 dataset = tf.data.TFRecordDataset(tfrecord_file) 这段代码创建了3个Dataset对象。 我的批处理大小是400，其中包括200个pos2数据、100个pos1数据和100个neg数据。如何获得所需的数据集？ 我将在keras.fit()中使用这个dataset对象(急切执行)。 我的tensorflow的版本是1.13.1。 以前，我尝试为每个数据集获取迭代器，然后在获得数据后手动拼接，但效率低下，GPU利用率不
浏览 18提问于2019-03-14得票数 1
如何将tensorflow数据集保存或转换为TFRecord文件？我想把我的数据从csv文件转换为TFRecord，以加快培训。
titanic = pd.read_csv("https://storage.googleapis.com/tf-datasets/titanic/train.csv")
titanic.head()
浏览 14提问于2022-02-17得票数 0
我有1000图像，大小为32x32x3，存储在dummy.tfrecord文件中。我希望对数据集进行两次迭代(2期)，因此我指定了tf.train.string_input_producer([dummy.tfrecord], num_epochs=2)。对于批处理大小的100，我希望tf.train.shuffle_batch运行2 * 10 = 20迭代，因为需要10批的100才能耗尽1000映像。
我跟踪了，它确实产生了预期的20迭代。但是，最后，我收到了错误：
RandomShuffleQueue '_1_shuffle_batch/random_shuffle_queue&#
浏览 3提问于2017-07-08得票数 0
回答已采纳
我正在自己的语料库上编写一个自定义的BERT模型，我使用BertWordPieceTokenizer生成了corpus文件，然后运行以下代码 !python create_pretraining_data.py
--input_file=/content/drive/My Drive/internet_archive_scifi_v3.txt
--output_file=/content/sample_data/tf_examples.tfrecord
--vocab_file=/content/sample_data/sifi_13sep-vocab.txt
--do_lower_case
浏览 33提问于2020-09-14得票数 0
使用Npgsql 3.1.5，我尝试使用NpgsqlCommand.ExecuteReader()从表中加载数据。其中一些列是自定义Postgres类型。我想以文本的形式阅读这些内容，就像Npgsql 2.2过去所做的那样。默认情况下，Npgsql 3.1会引发以下错误：
System.NotSupportedException : The field 'my_custom_type_field' has a type currently unknown to Npgsql (OID 50064). You can retrieve it as a string by mark
浏览 3提问于2016-07-04得票数 0
回答已采纳
1回答
我试图从麻省理工学院面部识别项目站点导入一些原始数据文件(未知文件类型)。每个文件包含面部的128*128图像的像素值的16384x1数组。
以下是有数据的站点：
原始数据是以未知的文件格式提供的(我不太确定是某种.bin或.dat )，应该对16284X1数组进行编码。我试着用readBin()读取文件，这会产生一个4096x1数组(下面显示的代码，"1227“是文件名)。此外，这个数组的值有一个很大的范围(min=-2139063177，max= 2139781749)，这不允许它们是带image()的像素值。
data<-readBin("1227", &
浏览 2提问于2019-02-13得票数 0
回答已采纳
2回答
实际上，我正在处理来自不同视频的许多图片，所以我使用tf.SequenceExample()将它们保存为不同的序列，并将它们的标签附加到TFRcord中。
但是在运行我的代码生成TFRecord之后，它会生成--比我原来的图片3GB大29 3GB的TFRecord。
创建比原始数据更大的TFRecord是否正常？
浏览 2提问于2017-03-30得票数 2
回答已采纳
最近，我正在将图像(比方说位图格式)解码为tfrecord文件 但是，我想知道为什么 为什么我们需要将numpy数组数据转换为字符串类型 在数据被写入tfrecord文件之前？ 喜欢 from PIL import Image
...
npimg = np.array(Image.open(img_path))
# My question:
# why do we need to convert numpy array img to stirng?
img_raw = npimg.tostring()
...
# later on, write img_raw to tf.train.Exa
浏览 5提问于2020-01-04得票数 0
为了将输入数据序列化为TFRecord格式，我尝试遵循TFRecord格式，但是在读取它时，我一直碰到这个错误：
InvalidArgumentError:键: my_key。无法解析序列化的示例。
我不知道我哪里出了问题。这是我无法解决的问题的一个极小范围的复制。
序列化了一些示例数据：
with tf.python_io.TFRecordWriter('train.tfrecords') as writer:
for idx in range(10):
example = tf.train.Example(
feature
浏览 1提问于2018-11-27得票数 18
回答已采纳
我想在tensorflow中实现多任务神经网络，为此我需要输入如下内容：
图像label1 label2
我可以给神经网络训练。
我的问题是，如何将多个标签与TFRecord文件中的图像关联？
我目前正在使用初始模型的build_image_data.py文件来生成TFRecord文件，但是在这种情况下，每个映像只有一个标签。
浏览 4提问于2017-02-17得票数 1
为什么TFRecords文件在TensorFlow中的初始模型示例中被切分？
对于随机性，在创建一个TFRecord文件之前，不能对文件列表进行洗牌吗？
浏览 5提问于2017-05-04得票数 2
我有一个名为train00.tfrecord的文件，我想通过tensorflow读取它。所以我写了下面的代码。 frame_lvl_record = "frame-sample/frame/train00.tfrecord"
for example in tf.io.tf_record_iterator(frame_lvl_record):
print(example) 但它返回了以下错误。 AttributeError Traceback (most recent call last)
/tmp/ipykerne
浏览 165提问于2021-07-15得票数 0
2回答
根据您的经验，什么是.tfrecord文件的理想大小，它将在各种各样的设备(硬盘、ssd、nvme)和存储位置(本地机器、带网络挂载的hpc集群)上工作得最好？
如果我在云中一台技术上更强大的计算机上的性能比我的本地PC要慢，那么tfrecord数据集的大小是否是瓶颈的根本原因呢？
谢谢
浏览 0提问于2018-09-05得票数 7
回答已采纳
我遵循本教程()来创建我自己的对象检测器。
关于“生成用于培训的TFRecords”的主题，当我尝试运行以下代码时：
python generate_tfrecord.py --csv_input=images\train_labels.csv --image_dir=images\train --output_path=train.record
我发现了一个错误：
[...]
Traceback (most recent call last):
File "generate_tfrecord.py", line 20, in <module>
from
浏览 0提问于2019-09-22得票数 1
让我们考虑将数据集拆分为多个TFRecord文件：
1.tfrecord，
2.tfrecord，
等。
我想要生成大小为t (例如3)的序列，该序列由来自同一个TFRecord文件的连续元素组成，我不希望序列具有属于不同TFRecord文件的元素。
例如，如果我们有两个TFRecord文件包含以下数据：
1.tfrecord：{0, 1, 2, ..., 7}
2.tfrecord：{1000, 1001, 1002, ..., 1007}
没有任何洗牌，我想得到以下批次：
第一批：0, 1, 2，
第二批：1, 2, 3，
..。
第一批
浏览 0提问于2019-03-11得票数 2
我说的是上可用的音频特征数据集，它是一个由帧级音频of记录组成的tar.gz存档。
从tfrecord文件中提取其他所有内容都很好(我可以提取关键字: video_id、start_time_seconds、end_time_seconds、labels)，但训练所需的实际嵌入似乎根本不在那里。当我迭代数据集中任何tfrecord文件的内容时，只有四个键video_id、start_time_seconds、end_time_seconds和labels被打印出来。
这是我使用的代码：
import tensorflow as tf
import numpy as np
def readTf
浏览 0提问于2017-09-14得票数 1
1回答
目前，我正在开发一个可以从CSV文件获取数据并将其导入TFRecord文件的系统，但是我有几个问题。
首先，当使用CSV类型被删除时，我需要知道TFRecord文件可以采取什么样的类型。
其次，如何将数据类型:object转换为TFRecord可以接受的类型？
我有两个字符串对象类型的列(将在下面发布示例)，如何将该数据转换为TFRecords的正确类型？
当导入Im时，我希望一次将每一行的数据附加到TFRecord文件中，任何建议或文档都会很好，我已经找了一段时间来解决这个问题，而且似乎只能有into，浮动到TFRecord中，但是一个整数的列表/数组呢？
谢谢你的阅读！
请注意，我正在使用
浏览 4提问于2019-09-27得票数 1
回答已采纳
我对TFRecord文件格式以及如何使用它感到相当困惑。我有一个TFRecord，但几乎不知道它到底包含什么和它的结构是什么。如何打印和检查TFRecord和/或其TFExamples？我本质上是在问与this question相同的问题，但是这个问题的答案已经过时了。打印TFRecord的output_shapes、output_types或output_classes没有任何提示(为什么？)。不推荐使用tf.io.tf_record_iterator()函数，但是TFRecord数据集现在看起来是可迭代的(但是为什么还需要the other迭代器呢？)。然而，简单地打印每次迭代都会返回胡
浏览 13提问于2019-04-26得票数 2
回答已采纳
根据我可以在堆栈溢出上读取的内容，FileReader只接收文件，其中FileInputStream可以读取所有文件。但是使用FileReader有什么好处吗？会更快吗？
我读到：
"FileReader不允许您指定编码，而是使用plaform默认编码，这使得它几乎毫无用处，因为当代码在具有不同平台默认编码的系统上运行时，使用它将导致数据损坏。“
但没能完全理解。平台默认编码意味着什么？
浏览 9提问于2014-01-04得票数 8
我有12个文件夹(这是我的数据的类别)，其中包含图像。此代码将图像及其对应的标签转换为tfrecord数据，并对其进行有效压缩： import tensorflow as tf
from pathlib import Path
from tensorflow.keras.utils import to_categorical
import cv2
from tqdm import tqdm
from os import listdir
import numpy as np
import matplotlib.image as mpimg
from tqdm import tqdm
labe
浏览 121提问于2021-01-08得票数 2
我的理解是，对每个时期的训练样本进行混洗是一种很好的做法，这样每个小批量都包含整个数据集的一个很好的随机样本。如果我将整个数据集转换为包含TFRecords的单个文件，那么如何在加载整个数据集的情况下实现这种混洗呢？我的理解是，没有有效的随机访问TFRecord文件。因此，具体地说，我正在寻找有关如何在此场景中使用TFRecord文件的指导。
浏览 3提问于2016-02-27得票数 16
我正在构建一个与tf.slim一起使用的模型，该模型将针对AVA数据集运行--对于大约256K的JPG图像，大小为32 to。在全分辨率图像的基础上，我创建了20个分片的TFRecord文件用于训练，每个文件的大小都是1.54 GB。
在训练期间，我的预处理步骤将在提取随机的(224,224,3)裁剪之前将每个图像调整为(256,256,3)。如果我在创建TFRecord文件之前调整JPG图像的大小，文件大小将缩小到28 MB。
除了额外的时间之外，如果我在创建TFRecords之前调整JPG文件的大小，我的方法是否还有其他问题？
浏览 6提问于2018-01-10得票数 1
我正在使用slim.dataset_data_provider。例如,
my_dataset = slim.dataset.Dataset(
data_sources='datasets/my_data.tfrecord`,
reader=reader,
decoder=decoder,
...)
provider = slim.dataset_data_provider.DatasetDataProvider(
my_dataset,
...)
我发现
浏览 4提问于2017-06-28得票数 0
回答已采纳
我试图使用Google引擎来优化我的变分自动编码器模型的超参数，但是由于找不到我为输入指定的.tfrecord文件，这项工作失败了。在我的模型代码中，我将train.tfrecords传递给我的输入张量，就像在中一样，并使用完整的路径指定train.tfrecords的位置。
有关资料：
JOB_DIR指向训练器目录
显示了我的目录结构
我的setup.py文件如下：
从setuptools导入find_packages，从setuptools导入REQUIRED_PACKAGES =‘tensorflow=1.3.0’，‘opencv’安装(名称=‘trainer’，versio
浏览 4提问于2017-10-03得票数 1
1回答
在工作中，我们有一个txt文件，其中记录了项目
这些列是典型的
Apple, *fruit
Cow, *animal
House, *thing
Tree, *plant
浏览 3提问于2010-11-24得票数 1
2回答
当读取在我的应用程序之外的其他地方创建的文本文件时，所使用的编码是未知的。我的应用程序一直在使用NSUnicodeStringEncoding (与NSUTF16StringEncoding相同)，因此读取UTF16编码文件以外的文件时会出现问题。
有没有办法让我猜出文件的编码？我的首要任务是能够读取UTF8文件，然后是所有其他文件。迭代可用编码并检查读取字符串的长度是否大于零真的是一种好方法吗？
提前谢谢。
Ignacio
浏览 0提问于2011-02-09得票数 7
回答已采纳
正如标题所述，我正在尝试将未知数量的元素从文件读取到数组中。最简单(教授希望我们避免使用她没有教过的东西)但又有效的方法是什么？
我已经考虑过逐个读取和计数文件中的元素，然后在知道大小后创建数组，然后实际将元素存储在其中。但这似乎有点低效。有没有更好的方法？
浏览 2提问于2019-04-15得票数 0
我已经构建了一个管道，它读取一些数据，进行一些操作，并创建一些apache对象(下面代码中的步骤1和步骤2)。然后，我想生成统计数据并将它们写入文件。我可以利用tensorflow数据验证库，但是tfdv GenerateStatistics需要一个pyarrow.lib.RecordBatch，而不是Row对象。我知道apache_beam.io.tfrecordio.WriteToTFRecord可以将PCollection写入文件作为TFRecord，但是，有没有一种方法可以不写到文件中呢？理想情况下，第3步将Row对象转换为TFRecord。
with beam.Pipeline(op
浏览 8提问于2022-04-05得票数 1
我有一个时间序列数据集，在使用RNN进行训练之前，我希望对其进行规范化。我扫描数据并创建一个tfrecord文件。然后，培训使用此tfrecord文件。
我的问题是，在培训期间，如何决定是将数据规范化并使用规范化数据创建tfrecord文件，还是使用原始数据创建tfrecord，并在培训期间将数据规范化，因为这些数据是从tfrecord文件读取的？
现在，我将数据规范化，并使用规范化数据创建tfrecord文件。我是这样做的，因为我认为在培训期间正常化会增加计算时间，因为RNN将不断从tfrecord文件中读取示例，并且需要对相同的示例进行一遍又一遍的规范化。
考虑到什么因素会影响我决定走哪一
浏览 1提问于2018-04-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
