深度學習－批處理層

在本章中，我們將學習批處理規範層。 之前我們說過，特徵縮放使梯度下降的工作更加容易。 現在，我們將擴展這個想法，並在訓練過程中規範每個完全連接層或卷積層的激活。 這也意味着在訓練時，我們將選擇一個批次來計算其均值和標準差。 你可以認爲批處理規範將是某種具有可訓練參數的自適應（或可學習）預處理塊。 這也意味着我們需要反向傳播它們。 以下是使用批處理規範的優勢列表： 1、改進了梯度流，可用於非常深的模

>>阅读原文<<