深度學習的學習率調節實踐

做者|Luke Newman
編譯|VK
來源|Towards Data Science

多層感知器

多層感知器（MLP）是由一個輸入層、一個或多個隱藏層和一個稱爲輸出層的最終層組成的人工神經網絡（ANN）。一般，靠近輸入層的層稱爲較低層，靠近輸出層的層稱爲外層。除輸出層外的每一層都包含一個偏置神經元，並與下一層徹底相連。

當一個ANN包含一個很深的隱藏層時，它被稱爲深度神經網絡（DNN）。

在這項調查中，咱們將在MNIST時尚數據集上訓練一個深度MLP，並經過指數增加來尋找最佳學習率，繪製損失圖，並找到損失增加的點，以達到85%以上的準確率。對於最佳實踐，咱們將實現早期中止，保存檢查點，並使用TensorBoard繪製學習曲線。

你能夠在這裏查看jupyter Notebook:https://github.com/lukenew2/learning_rates_and_best_practices/blob/master/optimal_learning_rates_with_keras_api.ipynb

指數學習率

學習率能夠說是最重要的超參數。通常狀況下，最佳學習速率約爲最大學習速率（即訓練算法偏離的學習速率）的一半。找到一個好的學習率的一個方法是訓練模型進行幾百次迭代，從很是低的學習率（例如，1e-5）開始，逐漸增長到很是大的值（例如，10）。

這是經過在每次迭代時將學習速率乘以一個常數因子來實現的。若是你將損失描繪爲學習率的函數，你應該首先看到它在降低。但過一段時間後，學習率會過高，所以損失會迅速回升：最佳學習率將略低於轉折點。而後，你能夠從新初始化你的模型，並使用此良好的學習率對其進行正常訓練。

Keras模型

咱們先導入相關庫

import os
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

PROJECT_ROOT_DIR = "."
IMAGES_PATH = os.path.join(PROJECT_ROOT_DIR, "images")
os.makedirs(IMAGES_PATH, exist_ok=True)

def save_fig(fig_id, tight_layout=True, fig_extension="png", resolution=300):
    path = os.path.join(IMAGES_PATH, fig_id + "." + fig_extension)
    print("Saving figure", fig_id)
    if tight_layout:
        plt.tight_layout()
    plt.savefig(path, format=fig_extension, dpi=resolution)

import tensorflow as tf
from tensorflow import keras

接下來加載數據集

(X_train, y_train), (X_test, y_test) = keras.datasets.fashion_mnist.load_data()

X_train.shape

X_train.dtype

標準化像素

X_valid, X_train = X_train[:5000] / 255.0, X_train[5000:] / 255.0
y_valid, y_train = y_train[:5000], y_train[5000:] 
X_test = X_test / 255.0

讓咱們快速看一下數據集中的圖像樣本，讓咱們感覺一下分類任務的複雜性：

class_names = ["T-shirt/top", "Trouser", "Pullover", "Dress", "Coat",
               "Sandal", "Shirt", "Sneaker", "Bag", "Ankle boot"]

n_rows = 4
n_cols = 10
plt.figure(figsize=(n_cols * 1.2, n_rows * 1.2))
for row in range(n_rows):
    for col in range(n_cols):
        index = n_cols * row + col
        plt.subplot(n_rows, n_cols, index + 1)
        plt.imshow(X_train[index], cmap="binary", interpolation="nearest")
        plt.axis('off')
        plt.title(class_names[y_train[index]], fontsize=12)
plt.subplots_adjust(wspace=0.2, hspace=0.5)
save_fig('fashion_mnist_plot', tight_layout=False)
plt.show()

咱們已經準備好用Keras來創建咱們的MLP。下面是一個具備兩個隱藏層的分類MLP：

model = keras.models.Sequential([
    keras.layers.Flatten(input_shape=[28,28]),
    keras.layers.Dense(300, activation="relu"),
    keras.layers.Dense(100, activation="relu"),
    keras.layers.Dense(10, activation="softmax")
])

讓咱們一行一行地看這個代碼：

• 首先，咱們建立了一個Sequential模型，它是神經網絡中最簡單的Keras模型，它只由一堆按順序鏈接的層組成。

• 接下來，咱們構建第一層並將其添加到模型中。它是一個Flatten層，其目的是將每一個輸入圖像轉換成一個1D數組：若是它接收到輸入數據X，則計算X.reshape（-1，1）。由於它是模型的第一層，因此應該指定輸入形狀。或者，你能夠添加keras.layers.InputLayer做爲第一層，設置其input_shape=[28,28]

• 下一步，咱們添加一個300個神經元的隱藏層，並指定它使用ReLU激活函數。每個全鏈接層管理本身的權重矩陣，包含神經元與其輸入之間的全部鏈接權重。它還管理一個偏置向量，每一個神經元一個。

• 而後咱們添加了第二個100個神經元的隱藏層，一樣使用ReLU激活函數。

• 最後，咱們使用softmax激活函數添加了一個包含10個神經元的輸出層（由於咱們執行的分類是每一個類都是互斥的）。

使用回調

在Keras中，fit()方法接受一個回調參數，該參數容許你指定Keras將在訓練開始和結束、每一個epoch的開始和結束時，甚至在處理每一個batch處理以前和以後要調用對象的列表。

爲了實現指數級增加的學習率，咱們須要建立本身的自定義回調。咱們的回調接受一個參數，用於提升學習率的因子。爲了將損失描繪成學習率的函數，咱們跟蹤每一個batch的速率和損失。

請注意，咱們將函數定義爲on_batch_end()，這取決於咱們的目標。固然也能夠是on_train_begin(), on_train_end(), on_batch_begin()。對於咱們的用例，咱們但願在每一個批處理以後提升學習率並記錄損失：

K = keras.backend

class ExponentialLearningRate(keras.callbacks.Callback):
    def __init__(self, factor):
        self.factor = factor
        self.rates = []
        self.losses = []
    def on_batch_end(self, batch, logs):
        self.rates.append(K.get_value(self.model.optimizer.lr))
        self.losses.append(logs["loss"])
        K.set_value(self.model.optimizer.lr, self.model.optimizer.lr * self.factor)

如今咱們的模型已經建立好了，咱們只需調用它的compile()方法來指定要使用的loss函數和優化器。或者，你能夠指定要在訓練和評估期間計算的額外指標列表。

首先，咱們使用「稀疏的分類交叉熵」損失，由於咱們有稀疏的標籤（也就是說，對於每一個實例，只有一個目標類索引，在咱們的例子中，從0到9），而且這些類是互斥的）。接下來，咱們指定使用隨機梯度降低，並將學習速率初始化爲1e-3，並在每次迭代中增長0.5%：

model.compile(loss="sparse_categorical_crossentropy",
              optimizer=keras.optimizers.SGD(lr=1e-3),
              metrics=["accuracy"])
expon_lr = ExponentialLearningRate(factor=1.005)

如今讓咱們只在一個epoch訓練模型：

history = model.fit(X_train, y_train, epochs=1,
                    validation_data=(X_valid, y_valid),
                    callbacks=[expon_lr])

咱們如今能夠將損失繪製爲學習率的函數：

plt.plot(expon_lr.rates, expon_lr.losses)
plt.gca().set_xscale('log')
plt.hlines(min(expon_lr.losses), min(expon_lr.rates), max(expon_lr.rates))
plt.axis([min(expon_lr.rates), max(expon_lr.rates), 0, expon_lr.losses[0]])
plt.xlabel("Learning rate")
plt.ylabel("Loss")
save_fig("learning_rate_vs_loss")

正如咱們所指望的，隨着學習率的提升，最初的損失逐漸減小。但過了一段時間，學習率太大，致使損失反彈：最佳學習率將略低於損失開始攀升的點（一般比轉折點低10倍左右）。咱們如今能夠從新初始化咱們的模型，並使用良好的學習率對其進行正常訓練。

還有更多的學習率技巧，包括建立學習進度表，我但願在之後的調查中介紹，但對如何手動選擇好的學習率有一個直觀的理解一樣重要。

咱們的損失在3e-1左右開始反彈，因此讓咱們嘗試使用2e-1做爲咱們的學習率：

keras.backend.clear_session()
np.random.seed(42)
tf.random.set_seed(42)

model = keras.models.Sequential([
    keras.layers.Flatten(input_shape=[28, 28]),
    keras.layers.Dense(300, activation="relu"),
    keras.layers.Dense(100, activation="relu"),
    keras.layers.Dense(10, activation="softmax")
])

model.compile(loss="sparse_categorical_crossentropy",
              optimizer=keras.optimizers.SGD(lr=2e-1),
              metrics=["accuracy"])

使用TensorBoard進行可視化

TensorBoard是一個很好的交互式可視化工具，你可使用它查看訓練期間的學習曲線、比較學習曲線、可視化計算圖、分析訓練統計數據、查看模型生成的圖像，可視化複雜的多維數據投影到三維和自動聚類，等等！這個工具是在安裝TensorFlow時自動安裝的，因此你應該已經安裝了。

讓咱們首先定義將用於TensorBoard日誌的根日誌目錄，再加上一個小函數，該函數將根據當前時間生成一個子目錄路徑，以便每次運行時它都是不一樣的。你可能須要在日誌目錄名稱中包含額外的信息，例如正在測試的超參數值，以便更容易地瞭解你在TensorBoard中查看的內容：

root_logdir = os.path.join(os.curdir, "my_logs")

def get_run_logdir():
    import time
    run_id = time.strftime("run_%Y_%m_%d-%H_%M_%S")
    return os.path.join(root_logdir, run_id)

run_logdir = get_run_logdir() # 例如, './my_logs/run_2020_07_31-15_15_22'

Keras api提供了一個TensorBoard()回調函數。TensorBoard()回調函數負責建立日誌目錄,並在訓練時建立事件文件和編寫摘要(摘要是一種二進制數據記錄用於建立可視化TensorBoard)。

每次運行有一個目錄，每一個目錄包含一個子目錄，分別用於訓練日誌和驗證日誌。二者都包含事件文件，但訓練日誌也包含分析跟蹤：這使TensorBoard可以準確地顯示模型在模型的每一個部分（跨越全部設備）上花費了多少時間，這對於查找性能瓶頸很是有用。

early_stopping_cb = keras.callbacks.EarlyStopping(patience=20)
checkpoint_cb = keras.callbacks.ModelCheckpoint("my_fashion_mnist_model.h5", save_best_only=True)
tensorboard_cb = keras.callbacks.TensorBoard(run_logdir)

history = model.fit(X_train, y_train, epochs=100,
                    validation_data=(X_valid, y_valid),
                    callbacks=[early_stopping_cb, checkpoint_cb, tensorboard_cb])

接下來，咱們須要啓動TensorBoard服務器。咱們能夠經過運行如下命令在Jupyter中直接執行此操做。第一行加載TensorBoard擴展，第二行啓動端口6004上的TensorBoard服務器，並鏈接到它：

%load_ext tensorboard 
%tensorboard — logdir=./my_logs — port=6004

如今你應該能夠看到TensorBoard的web界面。單擊「scaler」選項卡以查看學習曲線。在左下角，選擇要可視化的日誌（例如，第一次運行的訓練日誌），而後單擊epoch_loss scaler。請注意，在咱們的訓練過程當中，訓練損失降低得很順利。

你還能夠可視化整個圖形、學習的權重（投影到3D）或分析軌跡。TensorBoard()回調函數也有記錄額外數據的選項，例如NLP數據集的嵌入。

這其實是一個很是有用的可視化工具。

結論

在這裏咱們獲得了88%的準確率，這是咱們能夠達到的最好的深度MLP。若是咱們想進一步提升性能，咱們能夠嘗試卷積神經網絡（CNN），它對圖像數據很是有效。

就咱們的目的而言，這就足夠了。咱們學會了如何：

• 使用Keras的Sequential API構建深度mlp。

• 經過按指數增加學習率，繪製損失圖，並找到損失從新出現的點，來找到最佳學習率。

• 構建深度學習模型時的最佳實踐，包括使用回調和使用TensorBoard可視化學習曲線。

若是你想在這裏看到演示幻燈片或jupyterNotebook中完整的代碼和說明，請隨時查看Github存儲庫：https://github.com/lukenew2/learning_rates_and_best_practices

額外的資源

https://www.tensorflow.org/tensorboard/get_started

https://towardsdatascience.com/learning-rate-schedules-and-adaptive-learning-rate-methods-for-deep-learning-2c8f433990d1

原文連接：https://towardsdatascience.com/learning-rates-and-best-practices-for-deep-learning-e77215a86178

歡迎關注磐創AI博客站：
http://panchuang.net/

sklearn機器學習中文官方文檔：
http://sklearn123.com/

歡迎關注磐創博客資源彙總站：
http://docs.panchuang.net/