10个算法从业人员必须知道的TensorFlow技巧

文章来源：51ctoAI公园

导读

掌握这些可以更高效的模型的提高开发效率。

TensorFlow 2.x在构建模型和TensorFlow的整体使用方面提供了很多简单性。那么TF2有什么新变化呢？

使用Keras轻松构建模型，立即执行。
可在任何平台上进行强大的模型部署。
强大的研究实验。
通过清理过时的API和减少重复来简化API。

在本文中，我们将探索TF 2.0的10个特性，这些特性使得使用TensorFlow更加顺畅，减少了代码行数并提高了效率。

1(a). tf.data 构建输入管道

tf.data提供了数据管道和相关操作的功能。我们可以建立管道，映射预处理函数，洗牌或批处理数据集等等。

从tensors构建管道

>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
>>> iter(dataset).next().numpy() 
8

构建Batch并打乱

# Shuffle 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6) 
>>> iter(dataset).next().numpy()0 
# Batch>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2) 
>>> iter(dataset).next().numpy()array([8, 3], dtype=int32) 
# Shuffle and Batch>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2) 
>>> iter(dataset).next().numpy()array([3, 0], dtype=int32)

把两个Datsets压缩成一个

>>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
>>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6]) 
>>> dataset = tf.data.Dataset.zip((dataset0, dataset1)) 
>>> iter(dataset).next() 
(<tf.Tensor: shape=(), dtype=int32, numpy=8>, <tf.Tensor: shape=(), dtype=int32, numpy=1>)

映射外部函数

def into_2(num): 
     return num * 2 
    >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2) 
>>> iter(dataset).next().numpy() 
16

1(b). ImageDataGenerator

这是tensorflow.keras API的最佳特性之一。ImageDataGenerator能够在批处理和预处理以及数据增强的同时实时生成数据集切片。

生成器允许直接从目录或数据目录中生成数据流。

ImageDataGenerator中关于数据增强的一个误解是，它向现有数据集添加了更多的数据。虽然这是数据增强的实际定义，但是在ImageDataGenerator中，数据集中的图像在训练的不同步骤被动态地变换，使模型可以在未见过的有噪数据上进行训练。

train_datagen = ImageDataGenerator( 
        rescale=1./255, 
        shear_range=0.2, 
        zoom_range=0.2, 
        horizontal_flip=True 
)

在这里，对所有样本进行重新缩放(用于归一化)，而其他参数用于增强。

train_generator = train_datagen.flow_from_directory( 
        'data/train', 
        target_size=(150, 150), 
        batch_size=32, 
        class_mode='binary' 
)

我们为实时数据流指定目录。这也可以使用dataframes来完成。

train_generator = flow_from_dataframe( 
    dataframe,    x_col='filename', 
    y_col='class', 
    class_mode='categorical', 
    batch_size=32 
)

x_col参数定义图像的完整路径，而y_col参数定义用于分类的标签列。

模型可直接用生成器来喂数据。需要指定steps_per_epoch参数，即number_of_samples // batch_size.

model.fit( 
    train_generator,    validation_data=val_generator,    epochs=EPOCHS,    steps_per_epoch=(num_samples // batch_size), 
    validation_steps=(num_val_samples // batch_size) 
)

2. 使用tf.image做数据增强

数据增强是必要的。在数据不足的情况下，对数据进行更改并将其作为单独的数据点来处理，是在较少数据下进行训练的一种非常有效的方式。

tf.image API中有用于转换图像的工具，然后可以使用tf.data进行数据增强。

flipped = tf.image.flip_left_right(image) 
visualise(image, flipped)

上面的代码的输出

saturated = tf.image.adjust_saturation(image, 5) 
visualise(image, saturated)

上面的代码的输出

rotated = tf.image.rot90(image) 
visualise(image, rotated)

上面的代码的输出

cropped = tf.image.central_crop(image, central_fraction=0.5) 
visualise(image, cropped)

上面的代码的输出

3. TensorFlow Datasets

pip install tensorflow-datasets

这是一个非常有用的库，因为它包含了TensorFlow从各个领域收集的非常著名的数据集。

import tensorflow_datasets as tfds 
mnist_data = tfds.load("mnist") 
mnist_train, mnist_test = mnist_data["train"], mnist_data["test"] 
assertisinstance(mnist_train, tf.data.Dataset)

tensorflow-datasets中可用的数据集的详细列表可以在：https://www.tensorflow.org/datasets/catalog/overview中找到。

tfds提供的数据集类型包括：音频，图像，图像分类，目标检测，结构化数据，摘要，文本，翻译，视频。

4. 使用预训练模型进行迁移学习

迁移学习是机器学习中的一项新技术，非常重要。如果一个基准模型已经被别人训练过了，而且训练它需要大量的资源(例如：多个昂贵的gpu，一个人可能负担不起)。转移学习，解决了这个问题。预先训练好的模型可以在特定的场景中重用，也可以为不同的场景进行扩展。

TensorFlow提供了基准的预训练模型，可以很容易地为所需的场景扩展。

base_model = tf.keras.applications.MobileNetV2( 
    input_shape=IMG_SHAPE,    include_top=False, 
    weights='imagenet' 
)

这个base_model可以很容易地通过额外的层或不同的模型进行扩展。如：

model = tf.keras.Sequential([ 
    base_model,    global_average_layer,    prediction_layer])

5. Estimators

估计器是TensorFlow对完整模型的高级表示，它被设计用于易于扩展和异步训练

预先制定的estimators提供了一个非常高级的模型抽象，因此你可以直接集中于训练模型，而不用担心底层的复杂性。例如:

linear_est = tf.estimator.LinearClassifier( 
    feature_columns=feature_columns)linear_est.train(train_input_fn)result = linear_est.evaluate(eval_input_fn)

这显示了使用tf.estimator. Estimators构建和训练estimator是多么容易。estimator也可以定制。

TensorFlow有许多estimator ，包括LinearRegressor，BoostedTreesClassifier等。

6. 自定义层

神经网络以许多层深网络而闻名，其中层可以是不同的类型。TensorFlow包含许多预定义的层(如density, LSTM等)。但对于更复杂的体系结构，层的逻辑要比基础的层复杂得多。对于这样的情况，TensorFlow允许构建自定义层。这可以通过子类化tf.keras.layers来实现。

class CustomDense(tf.keras.layers.Layer): 
    def __init__(self, num_outputs): 
        super(CustomDense, self).__init__() 
        self.num_outputs = num_outputs 
    def build(self, input_shape): 
        self.kernel = self.add_weight( 
            "kernel", 
            shape=[int(input_shape[-1]), 
            self.num_outputs] 
        )    def call(self, input): 
        return tf.matmul(input, self.kernel)

正如在文档中所述，实现自己的层的最好方法是扩展 tf.keras.Layer类并实现：

_init_，你可以在这里做所有与输入无关的初始化。
build，其中你知道输入张量的形状，然后可以做剩下的初始化工作。
call，在这里进行前向计算。

虽然kernel的初始化可以在*_init_中完成，但是最好在build中进行初始化，否则你必须在创建新层的每个实例上显式地指定input_shape*。

7. 自定义训练

tf.keras Sequential 和Model API使得模型的训练更加容易。然而，大多数时候在训练复杂模型时，使用自定义损失函数。此外，模型训练也可能不同于默认训练(例如，分别对不同的模型组件求梯度)。

TensorFlow的自动微分有助于有效地计算梯度。这些原语用于定义自定义训练循环。

def train(model, inputs, outputs, learning_rate): 
    with tf.GradientTape() as t: 
        # Computing Losses from Model Prediction 
        current_loss = loss(outputs, model(inputs)) 
         
    # Gradients for Trainable Variables with Obtained Losses 
    dW, db = t.gradient(current_loss, [model.W, model.b]) 
     
    # Applying Gradients to Weights 
    model.W.assign_sub(learning_rate * dW) 
    model.b.assign_sub(learning_rate * db)

这个循环可以在多个epoch中重复，并且根据用例使用更定制的设置。

8. Checkpoints

保存一个TensorFlow模型可以有两种方式：

SavedModel：保存模型的完整状态以及所有参数。这是独立于源代码的。model.save_weights('checkpoint')
Checkpoints

Checkpoints 捕获模型使用的所有参数的值。使用Sequential API或Model API构建的模型可以简单地以SavedModel格式保存。

然而，对于自定义模型，checkpoints是必需的。

检查点不包含模型定义的计算的任何描述，因此通常只有当源代码可用时，保存的参数值才有用。

保存 Checkpoint

checkpoint_path = “save_path” 
# Defining a Checkpoint 
ckpt = tf.train.Checkpoint(model=model, optimizer=optimizer) 
# Creating a CheckpointManager Object 
ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5) 
# Saving a Model 
ckpt_manager.save()

从 Checkpoint 加载模型

TensorFlow从被加载的对象开始，通过遍历带有带有名字的边的有向图来将变量与检查点值匹配。

if ckpt_manager.latest_checkpoint:     ckpt.restore(ckpt_manager.latest_checkpoint)

9. Keras Tuner

这是TensorFlow中的一个相当新的特性。

!pip install keras-tuner

超参数调优调优是对定义的ML模型配置的参数进行筛选的过程。在特征工程和预处理之后，这些因素是模型性能的决定性因素。

# model_builder is a function that builds a model and returns it 
tuner = kt.Hyperband( 
    model_builder, 
    objective='val_accuracy',  
    max_epochs=10, 
    factor=3, 
    directory='my_dir', 
    project_name='intro_to_kt' 
)

除了HyperBand之外，BayesianOptimization和RandomSearch 也可用于调优。

tuner.search( 
    img_train, label_train,     epochs = 10,     validation_data=(img_test,label_test),     callbacks=[ClearTrainingOutput()])# Get the optimal hyperparameters 
best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]

然后，我们使用最优超参数训练模型：

model = tuner.hypermodel.build(best_hps) 
model.fit(    img_train,     label_train,     epochs=10,  
    validation_data=(img_test, label_test))

10. 分布式训练

如果你有多个GPU，并且希望通过分散训练循环在多个GPU上优化训练，TensorFlow的各种分布式训练策略能够优化GPU的使用，并为你操纵GPU上的训练。

tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢？

所有的变量和模型图被复制成副本。
输入均匀分布在不同的副本上。
每个副本计算它接收到的输入的损失和梯度。
同步的所有副本的梯度并求和。
同步后，对每个副本上的变量进行相同的更新。

strategy = tf.distribute.MirroredStrategy()with strategy.scope(): 
    model = tf.keras.Sequential([        tf.keras.layers.Conv2D(            32, 3, activation='relu',  input_shape=(28, 28, 1) 
        ),        tf.keras.layers.MaxPooling2D(),        tf.keras.layers.Flatten(),        tf.keras.layers.Dense(64, activation='relu'), 
        tf.keras.layers.Dense(10) 
    ])    model.compile(        loss="sparse_categorical_crossentropy", 
        optimizer="adam", 
        metrics=['accuracy'] 
    )

发表于: 2020-09-232020-09-23 09:55:00
原文链接：http://news.51cto.com/art/202009/626965.htm
如有侵权，请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长进交流群

领取专属 10元无门槛券

私享最新 技术干货

10个算法从业人员必须知道的TensorFlow技巧

导读

1(a). tf.data 构建输入管道

从tensors构建管道

构建Batch并打乱

把两个Datsets压缩成一个

映射外部函数

1(b). ImageDataGenerator

2. 使用tf.image做数据增强

3. TensorFlow Datasets

4. 使用预训练模型进行迁移学习

5. Estimators

6. 自定义层

7. 自定义训练

8. Checkpoints

保存 Checkpoint

从 Checkpoint 加载模型

9. Keras Tuner

10. 分布式训练

相关快讯

扫码

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐