作者：Rohan Jagtap? ? ?編譯：ronghuaiyang

導讀

掌握這些可以更高效的模型的提高開發效率。

TensorFlow 2.x在構建模型和TensorFlow的整體使用方面提供了很多簡單性。那么TF2有什么新變化呢？

• 使用Keras輕松構建模型，立即執行。

• 可在任何平臺上進行強大的模型部署。

• 強大的研究實驗。

• 通過清理過時的API和減少重復來簡化API。

在本文中，我們將探索TF 2.0的10個特性，這些特性使得使用TensorFlow更加順暢，減少了代碼行數并提高了效率。

1(a). tf.data 構建輸入管道

tf.data提供了數據管道和相關操作的功能。我們可以建立管道，映射預處理函數，洗牌或批處理數據集等等。

從tensors構建管道

>>>?dataset?=?tf.data.Dataset.from_tensor_slices([8,?3,?0,?8,?2,?1]) >>>?iter(dataset).next().numpy() 8

構建Batch并打亂

#?Shuffle >>>?dataset?=?tf.data.Dataset.from_tensor_slices([8,?3,?0,?8,?2,?1]).shuffle(6) >>>?iter(dataset).next().numpy() 0#?Batch >>>?dataset?=?tf.data.Dataset.from_tensor_slices([8,?3,?0,?8,?2,?1]).batch(2) >>>?iter(dataset).next().numpy() array([8,?3],?dtype=int32)#?Shuffle?and?Batch >>>?dataset?=?tf.data.Dataset.from_tensor_slices([8,?3,?0,?8,?2,?1]).shuffle(6).batch(2) >>>?iter(dataset).next().numpy() array([3,?0],?dtype=int32)

把兩個Datsets壓縮成一個

>>>?dataset0?=?tf.data.Dataset.from_tensor_slices([8,?3,?0,?8,?2,?1]) >>>?dataset1?=?tf.data.Dataset.from_tensor_slices([1,?2,?3,?4,?5,?6]) >>>?dataset?=?tf.data.Dataset.zip((dataset0,?dataset1)) >>>?iter(dataset).next() (<tf.Tensor:?shape=(),?dtype=int32,?numpy=8>,?<tf.Tensor:?shape=(),?dtype=int32,?numpy=1>)

映射外部函數

def?into_2(num):return?num?*?2>>>?dataset?=?tf.data.Dataset.from_tensor_slices([8,?3,?0,?8,?2,?1]).map(into_2) >>>?iter(dataset).next().numpy() 16

1(b). ImageDataGenerator

這是tensorflow.keras API的最佳特性之一。ImageDataGenerator能夠在批處理和預處理以及數據增強的同時實時生成數據集切片。

生成器允許直接從目錄或數據目錄中生成數據流。

ImageDataGenerator中關于數據增強的一個誤解是，它向現有數據集添加了更多的數據。雖然這是數據增強的實際定義，但是在ImageDataGenerator中，數據集中的圖像在訓練的不同步驟被動態地變換，使模型可以在未見過的有噪數據上進行訓練。

train_datagen?=?ImageDataGenerator(rescale=1./255,shear_range=0.2,zoom_range=0.2,horizontal_flip=True )

在這里，對所有樣本進行重新縮放(用于歸一化)，而其他參數用于增強。

train_generator?=?train_datagen.flow_from_directory('data/train',target_size=(150,?150),batch_size=32,class_mode='binary' )

我們為實時數據流指定目錄。這也可以使用dataframes來完成。

train_generator?=?flow_from_dataframe(dataframe,x_col='filename',y_col='class',class_mode='categorical',batch_size=32 )

x_col參數定義圖像的完整路徑，而y_col參數定義用于分類的標簽列。

模型可直接用生成器來喂數據。需要指定steps_per_epoch參數，即number_of_samples // batch_size.

model.fit(train_generator,validation_data=val_generator,epochs=EPOCHS,steps_per_epoch=(num_samples?//?batch_size),validation_steps=(num_val_samples?//?batch_size) )

2. 使用tf.image做數據增強

數據增強是必要的。在數據不足的情況下，對數據進行更改并將其作為單獨的數據點來處理，是在較少數據下進行訓練的一種非常有效的方式。

tf.image API中有用于轉換圖像的工具，然后可以使用tf.data進行數據增強。

flipped?=?tf.image.flip_left_right(image) visualise(image,?flipped)

上面的代碼的輸出
saturated?=?tf.image.adjust_saturation(image,?5) visualise(image,?saturated)

上面的代碼的輸出
rotated?=?tf.image.rot90(image) visualise(image,?rotated)

上面的代碼的輸出
cropped?=?tf.image.central_crop(image,?central_fraction=0.5) visualise(image,?cropped)

上面的代碼的輸出

3. TensorFlow Datasets

pip?install?tensorflow-datasets

這是一個非常有用的庫，因為它包含了TensorFlow從各個領域收集的非常著名的數據集。

import?tensorflow_datasets?as?tfdsmnist_data?=?tfds.load("mnist") mnist_train,?mnist_test?=?mnist_data["train"],?mnist_data["test"] assert?isinstance(mnist_train,?tf.data.Dataset)

tensorflow-datasets中可用的數據集的詳細列表可以在：https://www.tensorflow.org/datasets/catalog/overview中找到。

tfds提供的數據集類型包括：音頻，圖像，圖像分類，目標檢測，結構化數據，摘要，文本，翻譯，視頻。

4. 使用預訓練模型進行遷移學習

遷移學習是機器學習中的一項新技術，非常重要。如果一個基準模型已經被別人訓練過了，而且訓練它需要大量的資源(例如：多個昂貴的gpu，一個人可能負擔不起)。轉移學習，解決了這個問題。預先訓練好的模型可以在特定的場景中重用，也可以為不同的場景進行擴展。

TensorFlow提供了基準的預訓練模型，可以很容易地為所需的場景擴展。

base_model?=?tf.keras.applications.MobileNetV2(input_shape=IMG_SHAPE,include_top=False,weights='imagenet' )

這個base_model可以很容易地通過額外的層或不同的模型進行擴展。如：

model?=?tf.keras.Sequential([base_model,global_average_layer,prediction_layer ])

5. Estimators

估計器是TensorFlow對完整模型的高級表示，它被設計用于易于擴展和異步訓練

預先制定的estimators提供了一個非常高級的模型抽象，因此你可以直接集中于訓練模型，而不用擔心底層的復雜性。例如:

linear_est?=?tf.estimator.LinearClassifier(feature_columns=feature_columns )linear_est.train(train_input_fn) result?=?linear_est.evaluate(eval_input_fn)

這顯示了使用tf.estimator. Estimators構建和訓練estimator是多么容易。estimator也可以定制。

TensorFlow有許多estimator ，包括LinearRegressor，BoostedTreesClassifier等。

6. 自定義層

神經網絡以許多層深網絡而聞名，其中層可以是不同的類型。TensorFlow包含許多預定義的層(如density, LSTM等)。但對于更復雜的體系結構，層的邏輯要比基礎的層復雜得多。對于這樣的情況，TensorFlow允許構建自定義層。這可以通過子類化tf.keras.layers來實現。

class?CustomDense(tf.keras.layers.Layer):def?__init__(self,?num_outputs):super(CustomDense,?self).__init__()self.num_outputs?=?num_outputsdef?build(self,?input_shape):self.kernel?=?self.add_weight("kernel",shape=[int(input_shape[-1]),self.num_outputs])def?call(self,?input):return?tf.matmul(input,?self.kernel)

正如在文檔中所述，實現自己的層的最好方法是擴展 tf.keras.Layer類并實現：

_init_，你可以在這里做所有與輸入無關的初始化。

build，其中你知道輸入張量的形狀，然后可以做剩下的初始化工作。

call，在這里進行前向計算。

雖然kernel的初始化可以在*_init_中完成，但是最好在build中進行初始化，否則你必須在創建新層的每個實例上顯式地指定input_shape*。

7. 自定義訓練

tf.keras Sequential 和Model API使得模型的訓練更加容易。然而，大多數時候在訓練復雜模型時，使用自定義損失函數。此外，模型訓練也可能不同于默認訓練(例如，分別對不同的模型組件求梯度)。

TensorFlow的自動微分有助于有效地計算梯度。這些原語用于定義自定義訓練循環。

def?train(model,?inputs,?outputs,?learning_rate):with?tf.GradientTape()?as?t:#?Computing?Losses?from?Model?Predictioncurrent_loss?=?loss(outputs,?model(inputs))#?Gradients?for?Trainable?Variables?with?Obtained?LossesdW,?db?=?t.gradient(current_loss,?[model.W,?model.b])#?Applying?Gradients?to?Weightsmodel.W.assign_sub(learning_rate?*?dW)model.b.assign_sub(learning_rate?*?db)

這個循環可以在多個epoch中重復，并且根據用例使用更定制的設置。

8. Checkpoints

保存一個TensorFlow模型可以有兩種方式：

SavedModel：保存模型的完整狀態以及所有參數。這是獨立于源代碼的。model.save_weights('checkpoint')

Checkpoints

Checkpoints 捕獲模型使用的所有參數的值。使用Sequential API或Model API構建的模型可以簡單地以SavedModel格式保存。

然而，對于自定義模型，checkpoints是必需的。

檢查點不包含模型定義的計算的任何描述，因此通常只有當源代碼可用時，保存的參數值才有用。

保存 Checkpoint

checkpoint_path?=?“save_path”#?Defining?a?Checkpoint ckpt?=?tf.train.Checkpoint(model=model,?optimizer=optimizer)#?Creating?a?CheckpointManager?Object ckpt_manager?=?tf.train.CheckpointManager(ckpt,?checkpoint_path,?max_to_keep=5)#?Saving?a?Model ckpt_manager.save()

從 Checkpoint 加載模型

TensorFlow從被加載的對象開始，通過遍歷帶有帶有名字的邊的有向圖來將變量與檢查點值匹配。

if?ckpt_manager.latest_checkpoint:ckpt.restore(ckpt_manager.latest_checkpoint)

9. Keras Tuner

這是TensorFlow中的一個相當新的特性。

!pip?install?keras-tuner

超參數調優調優是對定義的ML模型配置的參數進行篩選的過程。在特征工程和預處理之后，這些因素是模型性能的決定性因素。

#?model_builder?is?a?function?that?builds?a?model?and?returns?it tuner?=?kt.Hyperband(model_builder,objective='val_accuracy',?max_epochs=10,factor=3,directory='my_dir',project_name='intro_to_kt' )

除了HyperBand之外，BayesianOptimization和RandomSearch 也可用于調優。

tuner.search(img_train,?label_train,?epochs?=?10,?validation_data=(img_test,label_test),?callbacks=[ClearTrainingOutput()] )#?Get?the?optimal?hyperparameters best_hps?=?tuner.get_best_hyperparameters(num_trials=1)[0]

然后，我們使用最優超參數訓練模型：

model?=?tuner.hypermodel.build(best_hps) model.fit(img_train,?label_train,?epochs=10,?validation_data=(img_test,?label_test) )

10. 分布式訓練

如果你有多個GPU，并且希望通過分散訓練循環在多個GPU上優化訓練，TensorFlow的各種分布式訓練策略能夠優化GPU的使用，并為你操縱GPU上的訓練。

tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢？

• 所有的變量和模型圖被復制成副本。

• 輸入均勻分布在不同的副本上。

• 每個副本計算它接收到的輸入的損失和梯度。

• 同步的所有副本的梯度并求和。

• 同步后，對每個副本上的變量進行相同的更新。

strategy?=?tf.distribute.MirroredStrategy()with?strategy.scope():model?=?tf.keras.Sequential([tf.keras.layers.Conv2D(32,?3,?activation='relu',??input_shape=(28,?28,?1)),tf.keras.layers.MaxPooling2D(),tf.keras.layers.Flatten(),tf.keras.layers.Dense(64,?activation='relu'),tf.keras.layers.Dense(10)])model.compile(loss="sparse_categorical_crossentropy",optimizer="adam",metrics=['accuracy'])

—END—

英文原文：https://towardsdatascience.com/10-tensorflow-tricks-every-ml-practitioner-must-know-96b860e53c1

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯獲取一折本站知識星球優惠券，復制鏈接直接打開：https://t.zsxq.com/662nyZF本站qq群704220115。加入微信群請掃碼進群（如果是博士或者準備讀博士請說明）： 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【深度学习】10个算法从业人员必须知道的TensorFlow技巧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。