在本文中，我們将探索TensorFlow 2.0的10個特性。
1(a). 用于建構輸入管道的tf.data API
從張量建構管道
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])>>> iter(dataset).next().numpy()8
Batch和Shuffle
# Shuffle>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6)>>> iter(dataset).next().numpy()0# Batch>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2)>>> iter(dataset).next().numpy()array([8, 3], dtype=int32)# Shuffle and Batch>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2)>>> iter(dataset).next().numpy()array([3, 0], dtype=int32)
壓縮兩個Datsets
>>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])>>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6])>>> dataset = tf.data.Dataset.zip((dataset0, dataset1))>>> iter(dataset).next()(, )
映射外部函數
def into_2(num): return num * 2>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2)>>> iter(dataset).next().numpy()16
1(b). ImageDataGenerator
這是tensorflow.keras API的最佳特性之一。ImageDataGenerator可以在batching和預進行中實時生成資料集切片和資料增強。
生成器允許直接從目錄或dataframes中通路資料流。
關于ImageDataGenerator中的資料增強的一個誤解是，它會将更多資料添加到現有資料集中。雖然這是資料增強的實際定義，但在ImageDataGenerator中，資料集中的圖像在訓練中按不同的步驟動态轉換，以便模型可以在它沒有看到有噪聲的資料上進行訓練。
train_datagen = ImageDataGenerator( rescale=1./255, shear_range=0.2, zoom_range=0.2, horizontal_flip=True)
在這裡，對所有樣本進行重縮放(用于歸一化)，而其他參數則用于增強。
train_generator = train_datagen.flow_from_directory( 'data/train', target_size=(150, 150), batch_size=32, class_mode='binary')
我們為實時資料流指定目錄。這也可以使用dataframes來完成。
train_generator = flow_from_dataframe( dataframe, x_col='filename', y_col='class', class_mode='categorical', batch_size=32)
x_col參數定義了圖像的完整路徑，y_col參數定義了用于分類的label列。
盡管需要指定steps_per_epoch參數，它實際上是number_of_samples // batch_size。
model.fit( train_generator, validation_data=val_generator, epochs=EPOCHS, steps_per_epoch=(num_samples // batch_size), validation_steps=(num_val_samples // batch_size))
2.使用tf.image進行資料增強
在資料不足的情況下，對資料進行更改并将其作為單獨的資料點，是在較少資料的情況下進行訓練的非常有效的方法。
tf.image API具有用于轉換圖像的工具，請看以下Python示例：
flipped = tf.image.flip_left_right(image)visualise(image, flipped)
saturated = tf.image.adjust_saturation(image, 5)visualise(image, saturated)
rotated = tf.image.rot90(image)visualise(image, rotated)
cropped = tf.image.central_crop(image, central_fraction=0.5)visualise(image, cropped)
3. TensorFlow資料集
pip install tensorflow-datasets
這是一個非常有用的庫，因為它包含了tensorflow收集的知名資料集。
import tensorflow_datasets as tfdsmnist_data = tfds.load("mnist")mnist_train, mnist_test = mnist_data["train"], mnist_data["test"]assert isinstance(mnist_train, tf.data.Dataset)
在tensorflow-datasets中可用的資料集的詳細清單可以在文檔的Datasets頁面上找到。
音頻、圖像、圖像分類、對象檢測、結構化、摘要、文本、翻譯、視訊都是tfds提供的類型。
4.使用預訓練的模型進行遷移學習
遷移學習是機器學習領域的一種新潮流，TensorFlow提供了經過基準測試的預訓練模型，可以很容易地針對所需的用例進行擴充。
base_model = tf.keras.applications.MobileNetV2( input_shape=IMG_SHAPE, include_top=False, weights='imagenet')
可以使用附加層或不同的模型輕松擴充這個base_model。如:
model = tf.keras.Sequential([ base_model, global_average_layer, prediction_layer])
有關tf.keras.applications下其他模型或子產品的詳細清單，請參閱docs頁面。
5.Estimators
Estimator是TensorFlow完整模型的進階表示，其設計目的是易于縮放和異步訓練。
内置的estimators提供了非常進階的模型抽象，是以您可以直接專注于訓練模型，而不必擔心其複雜性。例如：
linear_est = tf.estimator.LinearClassifier( feature_columns=feature_columns)linear_est.train(train_input_fn)result = linear_est.evaluate(eval_input_fn)
TensorFlow有許多内置的estimators，包括LinearRegressor，BoostedTreesClassifier等。Estimators也可以自定義。
6.自定義層
神經網絡是已知的多層網絡，其中的層可以是不同的類型。TensorFlow包含許多預定義層(例如Dense，LSTM等)。但是對于更複雜的架構，層的邏輯可能會複雜得多。TensorFlow允許建構自定義層，這可以通過對tf.keras.layers.Layer類進行子類化來完成。
class CustomDense(tf.keras.layers.Layer): def __init__(self, num_outputs): super(CustomDense, self).__init__() self.num_outputs = num_outputs def build(self, input_shape): self.kernel = self.add_weight( "kernel", shape=[int(input_shape[-1]), self.num_outputs] ) def call(self, input): return tf.matmul(input, self.kernel)
實作自定義層的最佳方法是擴充tf.keras.Layer類：
- __init__，可以進行所有與輸入無關的初始化。
- build，您可以了解輸入張量的形狀，并可以進行其餘的初始化。
- call，進行forward計算。
盡管可以在__init__中完成核初始化，但最好在build中進行初始化，否則，您将必須在新層建立的每個執行個體上顯式指定input_shape。
7.定制訓練
tf.keras序列和模型API使訓練模型更容易。但是，大多數時候在訓練複雜模型時會使用自定義損失函數。此外，模型訓練也可以不同于預設值(例如，将梯度分别應用于不同的模型元件)。
TensorFlow的自動微分有助于高效地計算梯度。Python示例如下：
def train(model, inputs, outputs, learning_rate): with tf.GradientTape() as t: # Computing Losses from Model Prediction current_loss = loss(outputs, model(inputs)) # Gradients for Trainable Variables with Obtained Losses dW, db = t.gradient(current_loss, [model.W, model.b]) # Applying Gradients to Weights model.W.assign_sub(learning_rate * dW) model.b.assign_sub(learning_rate * db)
可以針對多個epochs重複此循環，并且可以根據用例使用其他自定義的設定。
8.檢查點
儲存TensorFlow模型可以有兩種類型：
- SavedModel：儲存模型的完整狀态以及所有參數。model.save_weights('checkpoint')
- 檢查點(Checkpoints)
檢查點捕獲機器學習模型使用的所有參數的精确值。使用Sequential API或Model API建構的機器學習模型可以簡單地以SavedModel格式進行儲存。
但是，對于自定義模型，需要設定檢查點。
檢查點不包含模型定義的計算的任何描述，是以通常隻有在源代碼可用時才有用。
儲存檢查點
checkpoint_path = “save_path”# Defining a Checkpointckpt = tf.train.Checkpoint(model=model, optimizer=optimizer)# Creating a CheckpointManager Objectckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5)# Saving a Modelckpt_manager.save()
加載檢查點
TensorFlow通過周遊具有命名邊的有向圖(從加載的對象開始)，将變量比對到檢查點值。
if ckpt_manager.latest_checkpoint: ckpt.restore(ckpt_manager.latest_checkpoint)
9. Keras Tuner
這是TensorFlow中的一個相當新的功能。
!pip install keras-tuner
超參數調優是挑選參數的過程，這些參數定義了機器學習模型的配置，這些是特征工程和機器學習模型性能的決定因素。
# model_builder is a function that builds a model and returns ittuner = kt.Hyperband( model_builder, objective='val_accuracy', max_epochs=10, factor=3, directory='my_dir', project_name='intro_to_kt')
除了HyperBand, BayesianOptimization和RandomSearch也可用于調優。
tuner.search( img_train, label_train, epochs = 10, validation_data=(img_test,label_test), callbacks=[ClearTrainingOutput()])# Get the optimal hyperparametersbest_hps = tuner.get_best_hyperparameters(num_trials=1)[0]
然後，利用最優超參數對模型進行訓練:
model = tuner.hypermodel.build(best_hps)model.fit( img_train, label_train, epochs=10, validation_data=(img_test, label_test))
10.分布式訓練
如果你有多個GPU，并希望通過将訓練分散在多個GPU上來優化訓練，TensorFlow的各種分布式訓練政策能夠優化GPU的使用，并為你在GPU上進行訓練。
tf.distribute.MirroredStrategy是最常用的政策。它是如何工作的呢?
- 所有變量和模型圖都複制到副本上。
- 輸入均勻地分布在各個副本上。
- 每個副本都為其接收的輸入計算損失和梯度。
- 梯度是通過對所有副本求和來同步的。
- 同步之後，對每個副本上的變量副本進行相同的更新。
strategy = tf.distribute.MirroredStrategy()with strategy.scope(): model = tf.keras.Sequential([ tf.keras.layers.Conv2D( 32, 3, activation='relu', input_shape=(28, 28, 1) ), tf.keras.layers.MaxPooling2D(), tf.keras.layers.Flatten(), tf.keras.layers.Dense(64, activation='relu'), tf.keras.layers.Dense(10) ]) model.compile( loss="sparse_categorical_crossentropy", optimizer="adam", metrics=['accuracy'] )
最後
TensorFlow足以建構機器學習管道的幾乎所有元件。本教程的主要内容是介紹TensorFlow提供的各種api，以及如何使用這些API的快速指南。