为什么TensorFlow是完整的ML软件包

TensorFlow 2.x在构建模型和总体TensorFlow使用方面提供了很多简化。 那么TF2有什么新功能？

· 使用Keras轻松进行模型构建并渴望执行。

· 在任何平台上的生产中均可进行稳健的模型部署。

· 强大的研究实验。

· 通过清理不赞成使用的API并减少重复来简化API。

在本文中，我们将探索TF 2.0的10个功能，这些功能使TensorFlow的使用更加顺畅，减少了代码行并提高了效率，因为这些功能/类属于TensorFlow API。

1（a）。 用于构建输入管道的tf.data API

tf.data API提供了用于数据流水线和相关操作的功能。 我们可以构建管道，映射预处理功能，随机播放或批处理数据集等等。

从张量构建管道

>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
>>> iter(dataset).next().numpy()
8

批处理和随机播放

# Shuffle
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6)
>>> iter(dataset).next().numpy()
0
# Batch
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2)
>>> iter(dataset).next().numpy()
array([8, 3], dtype=int32)
# Shuffle and Batch
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2)
>>> iter(dataset).next().numpy()
array([3, 0], dtype=int32)

压缩两个数据集

>>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
>>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6])
>>> dataset = tf.data.Dataset.zip((dataset0, dataset1))
>>> iter(dataset).next()
(<tf.Tensor: shape=(), dtype=int32, numpy=8>, <tf.Tensor: shape=(), dtype=int32, numpy=1>)

映射外部功能

def into_2(num): 
  return num * 2
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2)
>>> iter(dataset).next().numpy()
16

1（b）。 ImageDataGenerator

这是tensorflow.keras API的最佳功能之一（在我看来）。 ImageDataGenerator能够在批处理和预处理以及实时数据增强的同时生成数据集切片。

生成器允许直接从目录或数据帧中流数据。

关于ImageDataGenerator中数据增强的一个误解是，它将更多数据添加到现有数据集中。 尽管这是数据增强的实际定义，但在ImageDataGenerator中，数据集中的图像会在训练的不同步骤中动态转换，以便可以针对模型中尚未看到的嘈杂数据进行训练。

train_datagen = ImageDataGenerator( rescale=1./255, 
                                   shear_range=0.2, 
                                   zoom_range=0.2, 
                                   horizontal_flip=True)

在这里，对所有样本进行重新缩放（用于归一化），而其他参数则用于扩充。

train_generator = train_datagen.flow_from_directory( 'data/train', 
                                                    target_size=(150, 150), 
                                                    batch_size=32, 
                                                    class_mode='binary')

我们为实时数据流指定目录。 这也可以使用数据框来完成。

train_generator = flow_from_dataframe( dataframe, 
                                      x_col='filename', 
                                      y_col='class', 
                                      class_mode='categorical', 
                                      batch_size=32)

x_col参数定义图像的完整路径，而y_col参数定义用于分类的标签列。

该模型可以直接与生成器联系。 尽管需要指定steps_per_epoch参数，该参数本质上是number_of_samples // batch_size。

model.fit( train_generator, 
          validation_data=val_generator, 
          epochs=EPOCHS, 
          steps_per_epoch=(num_samples // batch_size), 
          validation_steps=(num_val_samples // batch_size))

2.使用tf.image进行数据扩充

数据扩充是必要的。 在数据不足的情况下，对数据进行更改并将其视为单独的数据点是在较少数据下进行训练的一种非常有效的方法。

tf.image API具有用于转换图像的工具，以后可以通过前面讨论的tf.data API将其用于数据增强。

flipped = tf.image.flip_left_right(image)
visualise(image, flipped)

saturated = tf.image.adjust_saturation(image, 5)
visualise(image, saturated)

rotated = tf.image.rot90(image)
visualise(image, rotated)

cropped = tf.image.central_crop(image, central_fraction=0.5)
visualise(image, cropped)

3. TensorFlow数据集

pip install tensorflow-datasets

这是一个非常有用的库，因为它是转储TensorFlow收集的来自各个域的非常著名的数据集的唯一入口。

import tensorflow_datasets as tfds
mnist_data = tfds.load("mnist")
mnist_train, mnist_test = mnist_data["train"], mnist_data["test"]
assert isinstance(mnist_train, tf.data.Dataset)

tensorflow数据集中可用数据集的详细列表可在文档的"数据集"页面上找到。

音频，图像，图像分类，对象检测，结构化，摘要，文本，翻译，视频是tfds提供的类型。

4.使用预训练的模型进行转移学习

转移学习是机器学习中的新功能，它听起来很重要。 训练已经由其他人在慷慨资源下训练过的基准模型是不可行和不切实际的（例如，一个人可能负担不起的多个昂贵的GPU）。 转移学习解决了这个问题。 预训练的模型可以在给定的用例中重用，也可以扩展为其他用例。

TensorFlow提供了基准预训练模型，可以轻松地针对所需用例进行扩展。

base_model = tf.keras.applications.MobileNetV2( input_shape=IMG_SHAPE, 
                                               include_top=False, 
                                               weights='imagenet')

此base_model可以轻松地通过附加层或不同模型进行扩展。 例如：

model = tf.keras.Sequential([ base_model, global_average_layer, prediction_layer])

有关tf.keras.applications下其他模型和/或模块的详细列表，请参阅文档页面。

5.估算器

Estimator是TensorFlow完整模型的高级表示，其设计目的是易于缩放和异步训练

— TensorFlow文档

预制的估算器可提供非常高级的模型抽象，因此您可以直接专注于训练模型，而不必担心较低级别的复杂性。 例如：

linear_est = tf.estimator.LinearClassifier( feature_columns=feature_columns)
linear_est.train(train_input_fn)
result = linear_est.evaluate(eval_input_fn)

这表明使用tf.estimator构建和训练估算器非常容易。 估算器也可以自定义。

TensorFlow有许多预制的估算器，包括LinearRegressor，BoostedTreesClassifier等。可在TensorFlow文档中找到估算器的完整详细列表。

6.自定义层

对于许多层深层网络而言，神经网络是众所周知的，其中层可以是不同类型的。 TensorFlow包含许多预定义的层（例如Dense，LSTM等）。 但是对于更复杂的体系结构，层的逻辑要比主层复杂得多。 对于此类实例，TensorFlow允许构建自定义层。 这可以通过对tf.keras.layers.Layer类进行子类化来完成。

class CustomDense(tf.keras.layers.Layer): 
  def __init__(self, num_outputs): 
    super(CustomDense, self).__init__() 
    self.num_outputs = num_outputs 
  def build(self, input_shape): 
    self.kernel = self.add_weight( "kernel", 
                                  shape=[int(input_shape[-1]), 
                                  self.num_outputs] ) 
  def call(self, input): 
    return tf.matmul(input, self.kernel)

如文档中所述，实现自己的层的最佳方法是扩展tf.keras.Layer类并实现：

· init，您可以在其中进行所有与输入无关的初始化。

· 构建，您可以在其中知道输入张量的形状，并可以进行其余的初始化。

· 调用，您可以在其中进行前向计算。

尽管可以在__init__本身中完成内核初始化，但最好在build中进行初始化，否则，您将必须在新图层创建的每个实例上显式指定input_shape。

7.定制训练

tf.keras顺序和模型API使训练模型更容易。 但是，大多数时候在训练复杂模型时会使用自定义损失函数。 此外，模型训练也可以与默认训练不同（例如，将梯度分别应用于不同的模型组件）。

TensorFlow的自动微分有助于以有效的方式计算梯度。 这些原语用于定义自定义训练循环。

def train(model, inputs, outputs, learning_rate): 
  with tf.GradientTape() as t: 
    # Computing Losses from Model Prediction 
    current_loss = loss(outputs, model(inputs)) 
    # Gradients for Trainable Variables with Obtained Losses 
    dW, db = t.gradient(current_loss, [model.W, model.b]) 
    # Applying Gradients to Weights 
    model.W.assign_sub(learning_rate * dW) 
    model.b.assign_sub(learning_rate * db)

可以针对多个时期重复此循环，并根据用例使用更自定义的设置。

8.检查点

保存TensorFlow模型可以有两种类型：

· SavedModel：保存模型的完整状态以及所有参数。 这与源代码无关。 model.save_weights（'checkpoint'）

· 检查点

检查点捕获模型使用的所有参数的精确值。 使用Sequential API或Model API构建的模型可以简单地以SavedModel格式保存。

但是，对于自定义模型，需要检查点。

检查点不包含对模型定义的计算的任何描述，因此通常仅在将使用保存的参数值的源代码可用时才有用。

保存检查点

checkpoint_path = "save_path"
# Defining a Checkpoint
ckpt = tf.train.Checkpoint(model=model, optimizer=optimizer)
# Creating a CheckpointManager Object
ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5)
# Saving a Modelckpt_manager.save()

从检查点加载

TensorFlow通过从加载的对象开始遍历具有命名边的有向图来将变量与检查点值匹配。

if ckpt_manager.latest_checkpoint: 
  ckpt.restore(ckpt_manager.latest_checkpoint)

9. Keras Tuner

这是TensorFlow中的一个相当新的功能。

!pip install keras-tuner

超参数调整或超调整是挑选参数的过程，这些参数定义了ML模型的配置。 这些因素是特征工程和预处理之后模型性能的决定因素。

# model_builder is a function that builds a model and returns it
tuner = kt.Hyperband( model_builder, 
                     objective='val_accuracy', 
                     max_epochs=10, 
                     factor=3, 
                     directory='my_dir', 
                     project_name='intro_to_kt')

与HyperBand一起，还可以使用BayesianOptimization和RandomSearch进行调整。

tuner.search( img_train, 
             label_train, 
             epochs = 10, 
             validation_data=(img_test,label_test), 
             callbacks=[ClearTrainingOutput()])
# Get the optimal hyperparameters
best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]

此外，我们使用最佳超参数训练模型：

model = tuner.hypermodel.build(best_hps)
model.fit( img_train, 
          label_train, 
          epochs=10, 
          validation_data=(img_test, label_test))

10.分布式训练

如果您有多个GPU，并希望通过将训练循环分散在多个GPU上来优化训练，那么TensorFlow的各种分布式训练策略能够为您优化GPU的使用并操纵GPU上的训练。

tf.distribute.MirroredStrategy是最常用的策略。 无论如何，它如何运作？ 文档状态：

· 所有变量和模型图都复制在副本上。

· 输入在副本之间均匀分布。

· 每个副本都为其接收的输入计算损耗和梯度。

· 通过对梯度进行求和，可以在所有副本之间同步梯度。

· 同步后，将对每个副本上的变量副本进行相同的更新。

strategy = tf.distribute.MirroredStrategy()
with strategy.scope(): 
  model = tf.keras.Sequential([ 
    tf.keras.layers.Conv2D( 32, 3, activation='relu', input_shape=(28, 28, 1) ), 
    tf.keras.layers.MaxPooling2D(), 
    tf.keras.layers.Flatten(), 
    tf.keras.layers.Dense(64, activation='relu'), 
    tf.keras.layers.Dense(10) ]) 
  model.compile( loss="sparse_categorical_crossentropy", 
                optimizer="adam", 
                metrics=['accuracy'] )

有关其他策略和自定义训练循环，请参阅文档。

结论

TensorFlow足以构建ML管道的几乎所有组件。 本教程的主要内容是对TensorFlow提供的各种API的介绍，以及有关如何使用它们的快速指南。

这是代码的GitHub存储库的链接。 随意分叉。

(本文翻译自Rohan Jagtap的文章《10 TensorFlow Tricks Every ML Practitioner Must Know》，参考：https://towardsdatascience.com/10-tensorflow-tricks-every-ml-practitioner-must-know-96b860e53c1)