我正在使用tensorflow (TF1.14和TF2.0)中的tf.data.experimental.make_csv_dataset来读取一个包含3列的csv文件:索引、column1和column2对我来说,只有第1列和column2是重要的。column1中的每个元素都是一个形状为(1,4)的数组,而column2的形状为(1,1)。在此数据集上,当我使用tf.data.shuffle(buffer_size = some_number)进行混洗时,使用消息Filling Up
使用tensorflow.keras (支持GPU的2.0-Alpha0),我在新编译的模型和之前保存和重新加载的模型上使用tf.keras.model.fit()的初始化时间都非常长。我相信这是在tf.data.Datasets()已经加载和预处理之后,所以我不明白为什么花了这么长时间,并且TF/Keras没有输出: 2019-04-19 23:29:18.109067: tensorflowfailure, but may mean that there could be performan
在模型的训练过程中,我已经使用了shuffle my dataset,如文档示例: (但无法将其全部混洗,因为它会占用太多内存),我还将我的数据集分成多个小碎片,每个碎片大小相等。然而,我有理由认为这种“近似”的混洗是不够的,我还认为馈送已经混洗的数据将提高训练速度。所以现在我的问题是:在我将我的数据集分成Tfrecords分片后,是否有可能高效地编写随机获取2个分片的代码,加载它们,对</