在Tensorflow中使用大型numpy数组中的数据集

import numpy as np
import tensorflow as tf

# 假设我们有一个非常大的NumPy数组
large_np_array = np.random.rand(10000, 100)

# 将数据保存到磁盘
np.save('large_data.npy', large_np_array)

# 从磁盘加载数据并创建TensorFlow数据集
dataset = tf.data.Dataset.from_tensor_slices('large_data.npy')

# 假设我们需要对数据进行归一化和随机翻转
def preprocess(x):
    x = tf.cast(x, tf.float32) / 255.0
    x = tf.image.random_flip_left_right(x)
    return x

dataset = dataset.map(preprocess)

# 并行化处理
dataset = dataset.batch(32).prefetch(tf.data.experimental.AUTOTUNE)

import numpy as np
import tensorflow as tf

# 假设我们有一个非常大的NumPy数组
large_np_array = np.random.rand(10000, 100)

# 将数据保存到磁盘
np.save('large_data.npy', large_np_array)

# 从磁盘加载数据并创建TensorFlow数据集
dataset = tf.data.Dataset.from_tensor_slices('large_data.npy')

# 数据预处理函数
def preprocess(x):
    x = tf.cast(x, tf.float32) / 255.0
    x = tf.image.random_flip_left_right(tf.reshape(x, [10, 10]))
    return x

# 应用预处理并进行批处理
dataset = dataset.map(preprocess).batch(32).prefetch(tf.data.experimental.AUTOTUNE)

# 遍历数据集
for batch in dataset:
    print(batch.shape)