英文社區優文轉載和翻譯：A Look at Gradient Descent and RMSprop Optimizers

Introduction 我們可以調整無數的超參數來提高神經網絡的性能。但是，並非所有這些都會顯着影響網絡的性能。可以使算法收斂或爆炸之間的差異的一個參數是我們選擇的優化器。我們可以選擇相當多的優化器，讓我們來看看兩個最廣泛使用的優化器。 漸變下降優化器 梯度下降可能是所有優化器中最受歡迎和廣泛使用的。找到神經網絡的最佳值是一種簡單有效的方法。所有優化器的目標是達到成本函數達到最小值的全局最小值。

>>阅读原文<<